CaaS (Cluster as a Service)

Imaginez que l’on puisse avoir des clusters à N nœuds à la demande. Ce type de besoin de clusters est orienté pour du calcul scientifique, parallélisassions de traitement, voire pour de grosses applications Web. Il faut rappeler que la notion de cluster a un sens pour la partie application (ex : clustering de bases de données, de traitements lourds (Hadoop),  etc.). En quoi,  les couches IaaS peuvent-elles apporter une plus-value à ces besoins ? Quelle différence y a-t-il avec l’élasticité de ressources et la répartition de charge ?

L’idée sous-jacente est de pouvoir utiliser un cluster (c.à.d N nœuds appartenant à un même VLAN) à la demande pour un besoin donné de traitement et de libérer automatique, une fois les calculs ou les traitements terminés pour l’allouer à un autre besoin de clusters (autres applications). Tout ceci se base sur 2 mécanismes :

•  LXC : LinuX Container associé à Ubuntu Server sur bare metal. Dans ce cas, pas question de VM, mais de cloisonnement OS pour garder toute la puissance server nécessaire à du traitement CPU important.
• Nova Deployment Tool : Comme son nom l’indique outil de déploiement automatisé des services Nova. Un tour d’horizon de cet outil avec vidéo à l’appui fera l’objet d’un post particulier.

L’évolution CaaS est planifiée pour la release Diablo. Cette release porte bien son nom, car c’est impressionnant ce  qu’elle va couvrir. 

Priority	Blueprint	Design	Delivry	Series
undefined	cluster-as-a-service	Drafting	Started	Diablo
Haut	multi-cluster-in-a-region	Approved	Implemented	Cactus

La spécification de CaaS est disponible (ici). Il y a réellement de beaux schémas (ex : exemple d’implémentation) à l’appui qui ne sont pas toujours compréhensibles par le pékin lambda, mais aussi une démonstration (ici), qui montre, étape par étape (schémas et vidéos,  à l’appui), la mise en œuvre d’un cluster, à minima. Cela demande réflexion, mais celui qui s’y attarde comprendra alors l’enchaînement global. Mais en l’état d’information, il est difficile de dire, si cela apporte un véritable intérêt. 

Cette solution est comparable à xCat ou Mesos, mais sans une étude approfondie, je ne saurai donner les avantages et inconvénients de chaque solution. 

PS : Impossible de publier ce post (rédigé sous Word) sur Blogger. Le système de Google montre de grosses défaillances de disponibilité. A vrai dire, il s’agit, à priori, de maintenance programmée, sans préciser l’heure, ni la durée. Cela fait, à peine une semaine de présence sur cet outil (SaaS) et j’ai constaté de nombreux dysfonctionnements et ruptures de service. Ce dernier arrêt de services sera supérieur à 8 heures (c’est énorme !), alors qu’il était prévu pour une heure seulement. Le message d’information est le suivant : 

Blogger Status Monday, May 09, 2011 Blogger will go into read-only mode Wednesday (5/11) 10:00PM PST for about an hour for maintenance. Posted by at 21:17 PDT

Imaginons que l’annonce ait été passée à San Francisco ou il est 23h35 en ce moment et donc toujours, le jeudi 12/05/2011. Dans 25 minutes, ce sera Friday (6/13) 00 :00 AM PST, soit une interruption à cheval sur 2, voire 3 jours.

Message récupéré sur Twitter relatif à cet incident : 

We’re making progress and hope to be back soon. Blogger will remain in read-only mode until work is complete. Sorry for the pain. And also Brett from blogger Google Employee The Blogger Team 6:55 AM We are very sorry that users are unable to publish to Blogger right now. We have rolled back the maintenance release from last night and as a result, posts and comments from all users made after 7:37 am PDT on May 11, 2011 have been removed. Again, we apologize that this happened and our engineers are working hard to return Blogger to normal and restore your posts and comments. We will post a report once this work is complete. -The Blogger Team See also To get Blogger back to normal all posts since 7:37am PT on Wed 5/11 have been temp removed. We expect everything to be back to normal soon.

Je confirme, mes messages et pages créés sous les 48 heures passées ont été supprimés. Cela signifie-t-il qu’ils n’ont pas de moyen de revenir en arrière et que ces publications n’ont pas été sauvegardées? Je pense que cet événement va faire du bruit dans les chaumières, si les éléments réalisés ne sont pas restaurés! Lire les 1^er échos (ici). Après plus de 24heures d’arrêt continu, le service est devenu de nouveau opérationnel, mais sans récupération des données !