Begin vorig jaar berichtte Techworld voor het eerst over project VRC, dat toen net fase één had afgerond. De concurrenten Ruben Spruijt van PQR en Jeroen van de Kamp van Login Consultants gingen daarin een onwaarschijnlijke samenwerking aan door samen de omvangrijke taak op te pakken om hypervisors grondig te testen op performance. Techworld sprak met de twee onderzoekers.

Terminal servers

Ze hebben drie virtualisatieplatformen getest met terminal servers Windows 2003 en 2008 en virtual desktop met Windows XP: VMware ESX, Citrix XenServer en Microsoft HyperV. In 2009 was een van de conclusies dat HyperV van Microsoft nog wat achterliep op de andere twee. In fase 2 van het project heeft project VRC zich alleen geconcentreerd op de terminal server workloads.

De fabrikanten zijn allemaal met nieuwe versies gekomen van hun hypervisors. Onderwerp van de testen in fase 2 waren Microsoft Hyper-V versie 2, Citrix XenServer 5.5 en VMware vSphere 4.0. Dit zijn de nieuwste versies en ze zijn dit keer getest op systemen met Intel Nehalem processoren. De terminal server workloads zijn getest met Windows Server 2003 Terminal Services en Windows Server 2008 Terminal Services, waarbij de laatste vooral de 64-bits versie.

Conclusies

“De belangrijkste conclusie is dat we een spectaculaire schaalvergroting zien op de nieuwste generatie hypervisors en hardware. Met de terminal server workloads is dat verschil nóg groter. Elk merk Hypervisor verdubbelt op deze hardware en Hyper-V presteert zelfs 150% beter ten opzichte van de vorige generatie. Daarmee is Hyper-V 2.0 overigens niet beter dan de andere twee. Het had gewoon een grotere achterstand om in te halen, zoals uit project VRC fase 1 bleek“, aldus Ruben Spruijt en Jeroen van de Kamp.

“Er is gekeken naar performance en best practises. De verschillen zijn te klein om te zeggen dat er één beste is. Er zit zoveel meer in de keuze van hypervisors dan alleen de performance. Daarom zijn we er voorzichtig mee om te zeggen welke het snelste is. Mensen denken namelijk dan vaak dat wij de snelste hypervisor de beste vinden, maar dat hoeft absoluut niet zo te zijn.”

“Wat wij kunnen zeggen met onze tests, is dat specifiek voor deze workloads, we deze snelheidsverschillen zien. Maar naarmate de versies vorderen, worden de snelheidsverschillen onderling kleiner en kleiner. Onze tests worden met de jaren waarschijnlijk dan ook minder interessant. Wel interessant blijft wat de impact is van nieuwe hardware.”

“Een conclusie van fase 2 is dan ook dat de (toekomstige) innovatie niet zozeer aan de hypervisorkant plaatsvindt, maar meer op processor- en hardwareniveau. Maar de hypervisor moet het wel ondersteunen, dus het blijft altijd een samenspel van hardware en hypervisor.”

Na bovenstaande vooronderstellingen, willen de heren het toch ook over de performanceverschillen hebben. “Op dat vlak liggen Citrix Xenserver 5.5 en Microsoft Hyper-V 2.0 erg dicht tegen elkaar aan als we het maximale uit de machine willen persen. Dat doen we dan ook bij Project VRC. VMware’s vSphere 4.0 is sneller als je geen Hyperthreading (multicore technologie van Intel) gebruikt. Als je hyperthreading aan zet, zijn XenServer en Hyper-V sneller.”

Hup Holland

“Wel grappig overigens, we blijken met Project VRC ook invloed te hebben op het product. Die laatste conclusie kan het VMware performance team natuurlijk niet over z’n kant laten gaan, dus ze zijn nu met een test bezig over hoe ze elke vorm van achterstand kunnen voorkomen in de toekomst. Ze komen speciaal met updates om betere resultaten te krijgen in Project VRC!“

“Ik denk dat Project VRC wereldwijd zo gerespecteerd wordt omdat wij echt onafhankelijk zijn. Dat is goud waard, want dat is erg zeldzaam! Whitepapers zijn als het ware vaak te koop. Wij zijn daardoor de consumentenbond van de virtualisatie als het ware. Elke leverancier wil dolgraag onze resultaten in hun marketing gebruiken en dat vinden we prima, maar ze mogen de resultaten niet kopen!”

“Virtualisatie is de snelst ontwikkelende ICT tak op dit moment. Met project VRC gaan we de hele wereld over om het te presenteren. Dat is ook leuke reclame voor Nederland. Sowieso zijn we hier goed bezig wat virtualisatie betreft. Nederland ontwikkelt dan wel geen producten, maar als het gaat om implementatie, gebruik, exposure en community loopt Nederland erg voorop ten opzichte van de rest van de wereld.”

Kritiek

In de eerste fase van het project was er ook een licht puntje van kritiek op Project VRC. Het was namelijk niet mogelijk om de resultaten van de verschillende hypervisors onderling te vergelijken.

Dat kwam door het verschijnsel clockdrift. Bij één van de hypervisors was de klok in de virtuele machine ook gevirtualiseerd en daardoor minder nauwkeurig. “Dat was een bewuste keuze van ons. Maar nu hebben we een ‘externe scheidsrechter’, zodat de resultaten onderling ook volledig eerlijk te vergelijken zijn."

Onder andere om die reden is er ook een white paper gereleased tussen fase 1 en fase 2. Daarin staat uitgebreid en academisch onderbouwd beschreven hoe project VRC test. De meetmethode en metodologie die VRC gebruikt heet VSI (Virtual Session Indexer) en is ontwikkeld door Login consultants. Deze is erg belangrijk. De resultaten die uit de tests komen moeten eigenlijk reproduceerbaar zijn. Alleen dan zijn ze betrouwbaar in essentie. De VSI tool is gratis en wordt zelfs gebruikt door Citrix.

Fase 3

Inmiddels is Project VRC druk bezig met fase 3. Deze is volledig gericht op het testen van Virtual Desktop Infrastructure workloads op de hypervisors. Er wordt daarin onder andere onderzocht wat de performance verschillen zijn tussen Windows XP en Windows 7 en ook wat het I/O, ofwel storagegedrag is van de verschillende operating systems. De white paper hierover is binnenkort beschikbaar op de website van Project VRC.

Bron: Techworld