Qualification en charge

Lorsqu’une solution logicielle commence à devenir fiable après son développement, on cherche dans la foulée à la qualifier en charge. Pour ce type de test, il s’agit de vérifier le comportement en charge, les temps de réponse associés, voire les dysfonctionnements engendrés. L'article suivant (ici) donne des résultats pour ce type de test avec Nova d'Openstack pour 200 VM lancées simultanément.

Bien évidemment, les tests effectués à ce jour sous Nova (release up-to-date Cactus) n’ont jamais atteints ce nombre, mais tout au plus 10 à 20 VM à la fois. Le contexte de ce test est le suivant :

•  2 à 3 serveurs physiques hébergeant chacun le service « nova-compute » avec KVM comme hyperviseur. Les ressources HW de ces serveurs sont :

o   Lames HP avec processeur quadri core à 2,9 Ghz avec 48Go de RAM et une baie SAN commune,

o   Les images utilisées pour les VM sont des Linux RHEL 5.6 avec un format « qow2 » de 160Mo.

• 1 serveur quelconque pour les autres services Nova.

Un script shell d’une boucle de 10 x 20 itérations a été utilisé pour lancer les VM à l’aide de la requête « euca-run-instances ». Trois problèmes ont été rencontrés et solutionnés dans le déroulement des tests, à savoir :

• Au 1^er tir, 3 à 5% des VM n’ont pas démarré et lié après investigation à des time-out sur RabbitMQ. Le problème a été résolu par l’application d’un 1^er patch.

•  Au 2^ème tir, le taux d’erreur était toujours supérieur à zéro, mais inférieur au taux précédent. La raison était liée à de la concurrence d’accès sur l’allocation de VLAN. Un nouveau patch appliqué a permis de résoudre le problème.

•  Au 3^ème tir, toutes les VM se sont lancées, mais le test pour vérifier qu’elles étaient bien à l'état  RUNNING (ping) a montré que cela était le cas pour seulement pour 150. Il va s’avérer qu’une limite en dur dans le code était présente  (dnsmasq: bail DHCP) : 

trace via log :  dhcp-lease-max=%s' % IP(net['cidr']).len() 

• Au 4^ème tir, plus de problème, les 200 VM se sont lancées et sont opérationnelles.

Côté performance, cela donne ceci :

• 2 hosts (nova-compute) : 12 minutes et 06 secondes avec une montrée progressive et régulière des VM à l’état ACTIVE.

•  3 hosts (nova-compute) : 08 minutes et 20 secondes.

Les analystes montrent que le  temps, le plus couteux est celui d’injecter la clé dans l’image de chaque  VM. Pour exécuter cent machines virtuelles par serveur de la même image, seulement 24Go de RAM et 3,4Go dans « /var/lib/nova » est nécessaire.

En conclusion, cela montre que la solution bien que dans un dynamisme important, nécessite encore beaucoup de travaux (réalisation, évolution, qualification, etc.) avant de pouvoir servir les environnements de production. Au rythme actuel des travaux de la communauté, on peut penser que d’ici 12 à 16 mois, tous ces obstacles seront levés et que beaucoup de déploiements seront alors effectifs.

Logiquement, les bacs à sable (Test Cloud) promis par Dell, Rackspace et Equinix sur le 1 semestre 2011 (reste 1 mois) devront avoir aussi solutionné plusieurs problèmes, mais rien ne garantit qu’ils ont essayé de lancer 200 VM, voire plus en parallèle.