{"id":512,"date":"2009-11-12T17:18:14","date_gmt":"2009-11-12T16:18:14","guid":{"rendered":"http:\/\/blog.guiguiabloc.fr\/?p=512"},"modified":"2011-04-29T20:47:16","modified_gmt":"2011-04-29T19:47:16","slug":"hadoop-doop-doop-doop","status":"publish","type":"post","link":"http:\/\/blog.guiguiabloc.fr\/index.php\/2009\/11\/12\/hadoop-doop-doop-doop\/","title":{"rendered":"Hadoop, doop, doop, doop…"},"content":{"rendered":"

Un billet qui propose m\u00eame une version musicale : http:\/\/www.youtube.com\/watch?v=LUm19zKdASY<\/a><\/p>\n

Bon ok , je sors… \":mrgreen:\"<\/p>\n

Vous me direz, j’aurais pu faire pire et vous proposer une nouvelle version de \u00ab\u00a0Oh ch\u00e9ri, ch\u00e9ri\u00a0\u00bb de Karen Cheryl<\/a> \ud83d\ude00 (d\u00e9sol\u00e9 Fred… \ud83d\ude09 )<\/p>\n

Pour \u00eatre franc avec vous, j’ai longuement h\u00e9sit\u00e9 avant de me lancer dans l’\u00e9criture de ce billet.<\/p>\n

Le sujet est tellement vaste et les possibilit\u00e9s d’utilisation si nombreuses qu’il m’aurait fallu des pages et des pages pour en faire le tour (en plus je suis certain d’avoir un retour amus\u00e9 de certaines personnes de mon entourage sur ce billet :-D)<\/p>\n

Mais apr\u00e8s tout, pourquoi pas ? Donc je vais l’aborder sans plonger dans les d\u00e9tails mais suffisamment, je pense, pour pouvoir vous amuser (c’est bien le but, non ? \ud83d\ude00 )<\/p>\n

Hadoop, quoi que c’est ?<\/strong><\/p>\n

Pour citer Wikip\u00e9dia<\/a> :<\/p>\n

\u00ab\u00a0Hadoop<\/strong> est un framework java libre destin\u00e9 aux applications distribu\u00e9s et \u00e0 la gestion intensive des donn\u00e9es. Il permet aux applications de travailler avec des milliers de n\u0153uds et des p\u00e9taoctets de donn\u00e9es. Hadoop a \u00e9t\u00e9 inspir\u00e9 par les publications MapReduce, GoogleFS et BigTable de Google.\u00a0\u00bb<\/p>\n

Parmi les \u00e9l\u00e9ments composant Hadoop, nous allons retrouver principalement:<\/p>\n

– HDFS<\/a> (Hadoop Distributed File System), le syst\u00e8me de fichiers distribu\u00e9s<\/p>\n

– MAPREDUCE<\/a> , un framework pour les calculs parall\u00e8les et distribu\u00e9s<\/p>\n

– HBASE<\/a> , la base de donn\u00e9es distribu\u00e9es<\/p>\n

– ZOOKEEPER<\/a> , un service de centralisation pour coordonner les syst\u00e8mes distribu\u00e9s<\/p>\n

– PIG<\/a> , plateforme pour l’analyse d’un grand nombre de donn\u00e9es<\/p>\n

Vous l’avez compris, Hadoop sert principalement au traitement de gros volumes de donn\u00e9es.<\/p>\n

A cet effet, je vous invite \u00e0 regarder la vid\u00e9o d’Olivier Grisel <\/a>lors de sa pr\u00e9sentation d’Hadoop et MapReduce a l’Open Source Developers Conference 2009 (vous retrouverez cette pr\u00e9sentation ICI <\/a>).<\/span><\/span><\/p>\n

Vous me direz \u00ab\u00a0Oui mais bon, en quoi \u00e7a me concerne moi ???\u00a0\u00bb.<\/p>\n

Tsss, petit scarab\u00e9e, il n’y a pas si longtemps, dans une galaxie lointaine<\/span>, vous stockiez l’int\u00e9gralit\u00e9 de vos photos de vacances de votre vie sur un disque de 10 Go….<\/p>\n

Aujourd’hui o\u00f9 le moindre APN bas de gamme prend une photo de 5 Mo, je vous laisse imaginer la volum\u00e9trie n\u00e9cessaire pour stocker l’int\u00e9gralit\u00e9 de vos clich\u00e9s de vacances avec Tata Simone et surtout la cousine Juliette…<\/p>\n

Bref, vous l’avez compris, la capacit\u00e9 des disques augmentent mais les vitesses de transfert, elles ne suivent pas.<\/p>\n

En 1990, sur un disque de 1,4Go, avec un taux de transfert de 4,4 Mo\/s, il vous fallait environ 5 minutes pour le lire enti\u00e8rement. De nos jours, pour un disque d’1To, avec un taux de transfert de 100 Mo\/sec, il vous faut presque 2h30 pour la m\u00eame op\u00e9ration…<\/p>\n

Diviser ces donn\u00e9es sur 100 disques et, par cette lecture parall\u00e8le, toutes les donn\u00e9es peuvent \u00eatre lues en moins de 2 minutes.<\/p>\n

Ceux qui utilisent le syst\u00e8me RAID doivent comprendre \ud83d\ude09<\/p>\n

Pour de plus amples d\u00e9tails, je vous invite a parcourir le Wiki Hadoop ou vous plonger dans l’excellent \u00ab\u00a0Hadoop, The definitive Guide\u00a0\u00bb chez O’Reilly<\/a> .<\/p>\n

Pour bien comprendre le fonctionnement d’Hadoop, comme toujours, un joli dessin pour tenter de conceptualiser le bouzin.<\/p>\n

\"\"<\/a><\/p>\n

Il faut discerner tout d’abord la partie HDFS qui est le syst\u00e8me de fichier distribu\u00e9 d’Hadoop, compos\u00e9 d’un serveur ma\u00eetre, le NameNode et de serveurs d\u00e9tenant les donn\u00e9es proprement dites, les Datanodes.<\/p>\n

Quand une application cliente a besoin d’acc\u00e9der a une information, elle interroge le NameNode qui lui indique les Datanodes sur lesquels se trouve ces informations. Une fois en possession de cette liste, l’application cliente va directement interroger le(s) Datanodes.<\/p>\n

Dans une architecture HDFS, un fichier est d\u00e9coup\u00e9 en un ou plusieurs blocs et r\u00e9parti sur les datanodes du cluster. De plus, chaque bloc est r\u00e9pliqu\u00e9 suivant le facteur de r\u00e9plication que vous avez sp\u00e9cifi\u00e9 dans votre configuration.<\/p>\n

\"\"<\/a><\/p>\n

Je ne vais pas vous expliquer en d\u00e9tails la fa\u00e7on dont est architectur\u00e9 HDFS, je vous invite \u00e0 lire cette page pour bien comprendre la structure :<\/p>\n

http:\/\/hadoop.apache.org\/common\/docs\/current\/hdfs_design.html<\/a><\/p>\n

Ensuite, par dessus HDFS, nous avons la partie moteur MAP\/REDUCE avec un JobTracker, genre de centralisateur de t\u00e2ches, et des TaskTracker qui se chargent d’executer les travaux demand\u00e9s.<\/p>\n

Le Client soumet la requ\u00e8te de travail au JobTracker qui va les transmettre au(x) TaskTracker concern\u00e9(s) en s’efforcant d’\u00eatre au plus proche de la donn\u00e9e.<\/p>\n

Concernant MapReduce, son r\u00f4le consiste \u00e0 diviser le traitement en 2 \u00e9tapes :<\/p>\n