[logilab] Mêlée numérique 2012: État de l'art Big Data

Big Data vu par SGI

Ma première surprise a été d'apprendre où était caché SGI (vous vous rappelez peut-être les postes Indigo qu'on trouvait pour faire du graphisme et de l'animation...) depuis tout ce temps : et bien non, ils ne sont pas morts mais montent des calculateurs pour des grands comptes. Le premier intervenant était donc M. Carsalade, responsable infrastructure chez SGI, qui a pris quelques exemples d'applications et d'infrastructures "Big Data" (petabytes de données) menées par SGI.

Parmi les applications citées : calculateurs chez NOAA (sorte de Météo France aux US) ou Total (analyse des sols), Cosmos Project (15 tera de ram...), génomiques

SGI déploie par ex. :

• 500 000 serveurs SGI chez Amazon pour S3/eC2, site web, AWS...
• 300 000 serveurs SGI chez Microsoft pour Live Search (Bing, Exchange, MSN, etc.)

La technologie est souvent basée sur HADOOP, qui permet la recherche en parallèle sur un cloud, basée sur le principe map / reduce initiée par Google.

On note l'évolution des technologies dans le temps et par volume croissant:

• OLTP (données structurées),
• data warehouse (données essentiellement structurées),
• Big Data (données essentiellement non structurées)

Il conclut que Big Data, c'est :

• la capacité de stockage de données, et celle de l'agrandir au fur et à mesure du besoin,
• travailler sur ces données (HADOOP), les analyser et les visualiser,
• mais aussi archiver ces données, problématique souvent ignorée au premier abord mais pourtant nécessaire.

Big Data vu par une PME spécialisée

La présentation suivante de M.Royer (Datasio) est un peu plus technique.

Pour commencer, une liste des sources de données problématiques potentielles (i.e. la production ne s'arrête pas) :

• production par des réseaux d'observation autonome (capteurs météo, GPS, RFID, balises Argos...),
• données dépendantes d'une communauté d'utilisateurs et d'individus instrumentés,
• données produites plus vite qu'on ne les traite,
• "on verra le traitement plus tard".

Synthèse de ces problèmes : les "3 V" du Big Data: Volume / Variété / Vélocité.

Les techniques autour de Big Data promettent de :

• faciliter la collecte et l'aggrégation (mesurer les opérations, acquérir tous les flux possibles, stocker les mesures brutes)
• valoriser le capital de données (découvrir après coup des opportunités inexploitées, outils de fouille adaptés aux gros volumes, extraire et distiller l'information)

Il revient sur HADOOP en quelques mots :

• solution Open Source, issu de la fondation Apache,
• à l'initiative de Yahoo via un essaimage Hortonworks
• c'est un projet en maturation, avec une communauté active, mais des branches de code variées,
• constitué d'un système de fichier distribué avec redondance (parallélisation des données) et possibilité map / reduce (parallélisation des tâches à effectuer sur les données)

Si Big Data est un nouveau terme pour une problématique qui n'est pas nouvelle, une différence liée à la technique map / reduce les traitements sont effectués sur les serveurs qui hébergent les données au lieu de pousser les données vers un calculateur. Attention au fait cependant que pour fonctionner, les algorithmes doivent fonctionner de manière indépendante sur un sous-ensemble indéterminé de données (donc finalement indépendamment sur chaque "donnée"). Enfin, on se concentre sur l'efficience de la création et de la lecture des données, à l'inverse des bases de données traditionnelles qui se concentrent également sur la mise à jour et la suppression.

Je ne sais pas s'il y avait une conclusion, la présentation a été abrégée faute de temps.

Big Data vu par Météo France

La dernière présentation était celle de M.Beuraud de Météo France dont la problématique, pas simple mais à laquelle nous sommes tous sensibles, est la prévision numérique du temps.

Il note tout d'abord que la qualité des prévisions a augmenté : la qualité d'une prévison à 48h aujourd'hui vaut prévision à 24h il y a 15 ans en lien avec l'augmentation des performances du centre de calcul HPC de Météo France à Toulouse (évolution matérielle tous les 3 ans) :

• 2 GFlops en 1991 (date de l'ouverture du centre), basé sur des machines Cray 2,
• 100 TFlops en 2009, basé sur des machines NEC SX9

Le volume de données étudiées est maintenant beaucoup plus important, principalement du fait de la constellation de satellites qui s'est développée et qui produit un volume beaucoup plus important que les mesures conventionnelles (au sol). On a vu un "déluge de données" satellitaires depuis 2010. D'un point de vue stockage, le site est passé de 20Go en 1991 à plusieurs pétaoctets aujourd'hui.

De par les différentes contraintes extérieures (données à fournir aux clients), une prévision à 24h doit être faite en 25 minutes. De plus, la puissance de calcul nécessaire augmente sans cesse notamment à cause des facteurs suivants (en plus du volume de données à analyser qui augmente) :

• maille de plus en plus petite,
• couplage de modèles de plus en plus nombreux,
• prévision ensembliste : on lance X fois le même modèle avec des entrées différentes pour voir la stabilité de la prédiction.

A noter qu'ici, on n'est pas dans des technos de type HADOOP.

Il conclut que le volume de données à traiter va continuer à grandir, et que la gestion des données est l'enjeu majeur de la décennie qui s'ouvre.

Conclusion

J'ai été surpris de voir l'angle d'approche pour la présentation d'une thématique Big Data, qui était pour moi (novice je l'avoue) plus liée aux technologies Web. J'ai finalement trouvé que c'était intéressant de remettre ça avec cette perspective, et ainsi de replacer ce que recouvrent finalement les mots Big Data. Encore un grand mot qui veut tout et rien dire quoi :p