Simon Crosby partage les conclusions d’une étude réalisée par les équipe XenServer dont les objectifs étaient les suivants:

• Comparer la densité de machines virtuelles par serveur pour XenDesktop 4 avec plusieurs hyperviseurs, dont Hyper-V R2 et XenServer 5.5. Dans tous les scénarios, toutes les optimisations recommandées par les éditeurs du produit pour favoriser des performances et une densité d’invités optimales ont été activées. Notre étude présente les résultats obtenus par XenServer 5.5, Hyper-V R2 et le meilleur hyperviseur suivant.
• Nous avons ensuite déterminé la densité maximale de machines virtuelles utiles par hôte et par cœur de processeur.
Les résultats obtenus ne s’appliquent qu’à XenDesktop 4.

Lorsque le projet Xen prit son envol et que la communauté des développeurs décida de relever le défi de la création de l’hyperviseur de type 1 le plus évolutif, sécurisé et performant du marché, je réalisai immédiatement les immenses avantages que l'on pouvait retirer d'un développement open source : une liberté totale d'innover et de discuter de façon ouverte de tous les problèmes, depuis l’architecture jusqu’à la sécurité en passant par les performances et les meilleures pratiques de développement. Comme chaque ligne de code est mise gratuitement à la disposition du public, personne n’est incité à prétendre que le produit est merveilleux, sécurisé ou performant s’il ne l’est pas réellement. De plus, le style de développement adopté par cette communauté open source est totalement neutre et s’appuie sur une philosophie très simple : « le meilleur code et rien d’autre ».

En parallèle à notre implication en faveur du développement open source vient notre implication en faveur de la publication open source des résultats des recherches s’appuyant sur Xen. Nous avons très vite réalisé dans le cadre du projet Xen que nos amis de VMware scrutaient consciencieusement la liste de diffusion xen-devel et alertaient gentiment la presse dès qu’un problème quelconque était signalé par un des membres de la communauté. Leur vision était simple : si la communauté de développeurs travaillait à la résolution d’un problème, cela montrait bien que Xen ne pouvait être considéré comme une véritable solution d'entreprise. La réponse de la communauté à ce type d’attaques a consisté à mettre en lumière les avantages offerts par une large population de développeurs et par la multitude de regards différents que cela impliquait. Il était évident que de ce fait les problèmes se résolvaient plus rapidement et que le code progressait plus vite. En 2 ans, nous avions rattrapé l’avantage concurrentiel de VMware, qui avait été initialement évalué à 5 ans. Nous avons également remarqué que nos contributeurs prenaient désormais le plus grand soin à développer des codes de très grande qualité et testés de façon intensive avant de les soumettre. Evidemment, Xen continue à progresser rapidement et à bénéficier des recherches effectuées dans les universités du monde entier.

Dans ce même souci d’ouverture, je tiens aujourd’hui à être le premier à publier les résultats d’une intéressante (ou embarrassante) étude de comparaison de performance entre différents hyperviseurs, effectuée par l’équipe de Bernie Hannon, chez Citrix. Cette étude démontre qu'il y a un domaine dans lequel Citrix XenServer a de la marge pour progresser par rapport à Hyper-V R2, c'est celui des postes de travail virtuels Windows 7. Bien sûr, reconnaitre cet état de fait revient à s’engager à résoudre le problème, et vous pouvez être certains que c’est ce que Citrix va faire. XenServer intègre un ensemble très complet d'optimisations pour la virtualisation de postes, et notre équipe dédiée au VDI, qui ne cesse de s'étoffer, dispose elle aussi d'un ensemble complet d'outils d'optimisation pour « Midnight Ride » et pour son successeur « Cowley ».

Donc, avant de vous présenter les résultats de cette étude, quelques mises en garde :
• Les tests effectués n’ont pas encore pu être reproduits sur une large gamme de matériel.
• Les résultats des tests ne se veulent ni affirmatifs, ni définitifs. Ne considérez en aucun cas qu’ils sont représentatifs de la « vérité » en environnement de production, et ne les généralisez pas afin de leur faire dire ce qu’ils ne disent pas. Tout ce que vous pouvez en conclure, c’est que pour ces tests précis, tels furent les résultats constatés. De plus, Microsoft a entre temps annoncé le lancement de SP1 pour Hyper-V et Citrix la version bêta publique de XenServer « Midnight Ride ». Les résultats de ces tests n’ont donc qu’un intérêt provisoire. Nous comptons bien tester prochainement les tous derniers produits de tous les éditeurs, et nous publierons bientôt les résultats.
• Enfin, comme ces tests ont été effectués par Citrix et non par un cabinet d’étude indépendant sans conflit d’intérêt potentiel, vous pouvez tout bonnement les ignorer en attendant qu’une analyse indépendante soit effectuée et publiée. D’une manière générale, il vous est recommandé de toujours considérer avec prudence les résultats des études effectuées en interne par les éditeurs.

Les objectifs

• Comparer la densité de machines virtuelles par serveur pour XenDesktop 4 avec plusieurs hyperviseurs, dont Hyper-V R2 et XenServer 5.5. Dans tous les scénarios, toutes les optimisations recommandées par les éditeurs du produit pour favoriser des performances et une densité d’invités optimales ont été activées. Notre étude présente les résultats obtenus par XenServer 5.5, Hyper-V R2 et le meilleur hyperviseur suivant.
• Nous avons ensuite déterminé la densité maximale de machines virtuelles utiles par hôte et par cœur de processeur.

Les résultats obtenus ne s’appliquent qu’à XenDesktop 4. Comme XenDesktop (et il est le seul dans ce cas) est totalement indépendant vis-à-vis de l’hyperviseur, il est tout à fait possible de procéder à cette évaluation. Alors que pour la densité de machines virtuelles utilisant View sur XenServer ou Hyper-V, on obtiendrait un résultat proche de zéro. Donc, si vous cherchez à connaître les performances de View, cette étude ne vous servira à rien.

La méthode

• Nous avons utilisé deux types de machines virtuelles postes de travail : Windows XP (1vCPU / 512 Mo) et Windows 7 (1vCPU / 1 Go). Notre configuration de test est identique (du moins nous le pensons) à celle du Projet VRC avec Login VSI 2.1 comme générateur de charges.
• Serveur hôte : Dell PowerEdge R710/2 socket-quad core x5570, 2,93 GHz / 72 Go de RAM (max w/ 4Go DDR3 DIMMs) / technologie Hyperthread activée (16 processeurs logiques).

La configuration de test ressemble à peu près à ceci :

Les résultats

De tous les hyperviseurs que nous avons testés dans le cadre de cette étude, Hyper-V R2 s’est avéré le meilleur en termes de densité de machines virtuelles Windows 7. Félicitations à l’équipe de développement Hyper-V pour la qualité de son travail sur ce type de charges. XenServer 5.5 permet des densités de 10% inférieures à celles d'Hyper-V, et tous les autres hyperviseurs testés des densités clairement inférieures à celles de XenServer. Le schéma ci-dessous montre les performances relatives du meilleur « autre » hyperviseur par rapport à celles de XenServer 5.5 et d’Hyper-V R2. Nous avons alors intégré ces chiffres à notre calculateur de retour sur investissement XenDesktop 4 et estimé qu’Hyper-V offrirait sur 3 ans une économie d'approximativement 225 000 $ pour un déploiement XenDesktop de 5 000 sièges, par rapport à l’hyperviseur « autre » le plus concurrentiel (XenServer et Hyper-V n’étant pas comparés, car étant tous deux gratuits).

Pour les invités Windows XP, Hyper-V R2 n’accomplit pas un travail aussi extraordinaire. J’ai eu l’occasion de discuter avec Jeff Woolsey, responsable produit chez Hyper-V. Il reconnaît lui-même cet état de fait et l’explique par la durée de vie restante relativement courte de Windows XP et par la nouvelle priorité accordée chez Microsoft aux charges Windows Server et à Windows 7 comme nouveau système d’exploitation client. Quoi qu’il en soit, le nombre maximum de machines virtuelles actuellement prises en charges pour chaque cœur est de 8 pour Hyper-V R2, alors qu’il est de 16 pour Citrix XenServer dans cette configuration. Dans ce cas de figure, XenServer surclasse nettement tous les autres hyperviseurs en termes de densités de machines virtuelles utiles. Le meilleur des hyperviseurs « autres » arrive en seconde position, suivi par Hyper-V. Là encore, nous avons intégré les chiffres de l’étude à notre calculateur de retour sur investissement, et nous avons pu évaluer que XenServer offrait sur 3 ans une économie d’environ 160 000 $ pour un déploiement de 5 000 sièges, par rapport à l’hyperviseur « autre » le plus compétitif.

Enfin, Project VRC a récemment publié les résultats d’une comparaison entre Hyper-V R2, vSphere 4 et XenServer 5.5 pour les charges Windows Terminal Server virtualisées. Cette comparaison a démontré qu’Hyper-V faisait un tout petit peu mieux que XenServer, et que tous deux étaient loin devant vSphere 4. Encore une fois, félicitations à Microsoft. Ces résultats ont donné un véritable coup de fouet aux gens de VMware, qui ont dans la foulée proposé en toute urgence un correctif soi-disant capable de résoudre les problèmes de performances avec TS. Mais il reste encore à déterminer s’il n’affecte pas leur performance VDI, et il nous reste encore à le tester.

L’impact économique

• La première conclusion qui ressort de l’étude, c’est que les deux hyperviseurs qui ressortent clairement du lot, à la fois pour TS et pour le VDI, sont Hyper-V R2 et XenServer 5.5. Les résultats devraient être encore plus impressionnants avec les futurs Hyper-V R2 SP1 et XenServer « Midnight Ride ».
• La seconde conclusion que l'on peut tirer, c'est que Project VRC devra tester de façon indépendante les dernières versions de chaque produit afin de donner au marché des éléments clairs et objectifs.
• Le troisième point, c’est que nous, l'équipe XenServer, comptons bien redoubler d'efforts pour surclasser clairement tous les autres hyperviseurs.
• Le quatrième point, c’est qu’il existe un aspect essentiel auquel vous n'avez peut-être pas prêté attention : chaque hyperviseur que nous avons testé avait été paramétré de façon optimale conformément aux indications fournies par l’éditeur. Or, aucun des avantages prétendument offerts en termes d'optimisation de densité de machines virtuelles par chacun des éditeurs n’a, dans les faits, procuré un quelconque avantage dans le cadre de cette étude. Si Hyper-V R2 SP1 et XenServer « Midnight Ride » pourront tous deux prendre en charge l’optimisation de mémoire dynamique, notre étude a le mérite de révéler le nombre maximal de postes de travail actifs, réellement utiles que chaque plate-forme peut prendre en charge. La surenchère de mémoire est ici totalement inutile, et doit en général être gérée avec précaution afin d’éviter des performances médiocres. Donc, en conclusion, quel que soit l’éditeur, méfiez-vous des annonces relatives à l'optimisation de la mémoire. Les compagnies aériennes peuvent très facilement pratiquer le surbooking, mais ce qui compte réellement, c’est le nombre de passagers qui peut concrètement monter dans l'avion.

Enfin, il est crucial de bien comprendre que la densité de machines virtuelles n’est qu’une des nombreuses données de l’équation du coût total du VDI, et ne constitue qu’un paramètre parmi d’autres pour le choix de la « meilleure » performance générale. L’évolutivité (y compris de gestion), le coût de l’hyperviseur, le choix de l’architecture de stockage, la gérabilité et l’évolutivité de la plate-forme d’infrastructure virtuelle, le coût total du cycle de vie des postes de travail, la capacité à s'appuyer sur des compétences et des outils existants, tout cela joue un rôle important dans la détermination du coût total du VDI. Il sera intéressant de prendre en compte dans les futures comparaisons une plus grande variété de paramètres. Vous pourrez alors réellement comparer les différentes solutions proposées et tirer vos propres conclusions. Dans tous les cas, insistez auprès de votre éditeur afin que celui-ci vous fournisse des validations indépendantes des chiffres de densité ou de performance qu’il annonce.

Pour lire la version originale en anglais, http://community.citrix.com/pages/viewpage.action?pageId=131334785