Map-Reduce: Programmation à très grande échelle pour le Big Data sur les clouds

Notre monde est aujourd'hui submergé par un déluge de données produites par une multitudes de sources. Il y a quelques années, on a commencé à comprendre que ces données recelaient une grande valeur à condition d'arriver à les traiter suffisamment efficacement. C'est le domaine du Big Data, un défi extraordinaire pour les chercheurs… et une mine d'or pour les compagnies de service logiciel, avec bien sûr Google en première ligne.

Pour extraire de la valeur à partir de ce déluge de données, qu'elles soient scientifiques, financières ou autres, il faut être capable de gérer le volume énorme de ces données, le débit de leur production et la variabilité de leur format. Cette exigence est souvent résumée par les "3 V" : Volume, Vitesse et Variété. Deux avancées matérielles et logicielles majeures ont permis de relever ce défi : les architecture de type "cloud" et le paradigme de programmation Map-Reduce.

Le paradigme de programmation Map-Reduce a permis de relever ces défis. On peut le voir comme une application des travaux théoriques des années 90 sur les "skeletons". Il est aujourd'hui utilisé par la plupart des grands acteurs de ce domaine au travers de plateformes logicielles comme Hadoop, Spark, Flink, etc. Ce paradigme est par nature asynchrone. Le grand défi est aujourd'hui de l'adapter pour la gestion des flux temps réel ("streaming"), en particulier dans le domaine de la vidéo.