Commentaires sur : Hadoop, doop, doop, doop…

Par : Jules Irvan

Jules Irvan — Thu, 03 Mar 2011 16:34:06 +0000

Greetings from Idaho! I’m bored to death at work so I decided to browse your website on my iphone during lunch break. I love the knowledge you provide here and can’t wait to take a look when I get home. I’m shocked at how quick your blog loaded on my cell phone .. I’m not even using WIFI, just 3G .. Anyways, good blog!

Par : Godefroy (@Skreo)

Godefroy (@Skreo) — Mon, 08 Nov 2010 12:18:33 +0000

Ok merci pour ta réponse.
En fait ce qui m’intéresse, c’est uniquement le système de catégorisation automatiquement de texte (naive bayesian filter). Et je n’ai pas trouvé d’autre outil open-source fiable et performant faisant ça. De plus, j’aimerais, si possible, avoir de la redondance.

Par : guiguiabloc

guiguiabloc — Mon, 08 Nov 2010 08:08:13 +0000

Bonjour,
Honnetement, Hadoop sur 2 serveurs n’a strictement aucun interet (a part maquetter et encore…). Le minimum viable est de 5 machines (10 pour un environnement de production).
Tourne toi plutot vers d’autres solutions.

Par : Godefroy (@Skreo)

Godefroy (@Skreo) — Mon, 08 Nov 2010 01:18:30 +0000

Bonjour,
J’envisage d’installer un Hadoop + Mahout pour faire de la classification automatique. Mais tu dis qu’il « faut voir très large », à partir de 10 serveurs, or je n’ai pas 10 serveurs… Idéalement, j’aimerais distribuer Hadoop et Mahout sur 2 serveurs (assez gros) qui gère déjà MySQL en master-master, mes autres serveurs gérant Apache, les backups…etc.
Ça peut le faire tu crois avec 2 serveurs ?

Par : Wallace

Wallace — Wed, 06 Jan 2010 15:35:15 +0000

Et pour partir uniquement sur du HDFS tu conseillerais quoi? Car 10 machines d’un coup ca enlève pas mal de projets.

Peux tu me contacter par email aussi merci.

Par : guiguiabloc

guiguiabloc — Tue, 22 Dec 2009 18:55:09 +0000

merci

Tu es comme moi, un peu froid au début a cause de java et de mauvaises expériences, mais là, très agréablement surpris.

Côté perf et administration, c’est un vrai plaisir, mais attention, il faut voir très large (pas la peine de partir sur 5 noeuds…). Pour une utilisation en Prod, je conseille de démarrer a 10 machines costaud. Les serveurs ne dorment pas mais les résultat est au rendez-vous, des vitesses de traitement et des retours bluffant (surtout quand on commence a taper dans Hbase et surtout Zookeeper).
Bref, un excellent choix quand on a de très gros volumes de données a traiter.

J’ai rapidement était échauder de GlusterFS, c’est amusant en maquette mais en prod, c’est désastreux malheureusement…

Par : Wallace

Wallace — Tue, 22 Dec 2009 10:18:16 +0000

Salut,

Encore bravo pour ton tutoriel tu vas réussir à me réconcilier avec ce FS.

Ce FS je l’ai écarté pour la simple raison qu’il y a du Java. Ca parait con mais j’ai eu tellement de soucis avec des plateformes contenant du java chez mes clients (ils savaient sans doute pas coder) et les mauvaises impressions des softs comme OpenOffice que ca me rebute ne serait ce que de tester.

Mais quand on voit les références qui l’utilisent je me dis qu’il doit bien dépoter quand même.

Niveau performance, évolution (rajout de datanode), administration quotidienne tu en penses quoi?

En fait j’ai eu quelques retours sur GlusterFS que j’avais choisi comme nouvelle base. Des personnes ont eu de sacrés crash et on vite eu du mal niveau administration alors que c’est à mon sens le fs qui s’installe et se déploie le plus vite.
Du coup ca leur a ouvert les portes d’un financement d’un vrai SAN …

Du coup je recommence à regarde ce qui se fait d’autre.