\nLe moyen le plus simple est de se baser sur DRBD<\/a> dont j’avais d\u00e9j\u00e0 abord\u00e9 le sujet ICI<\/a> qui est une sorte de RAID Over IP.<\/p>\n
La mise en place de drbd vous donne un nouveau p\u00e9riph\u00e9rique de stockage (ou nouveau disque pour simplifier) de type \/dev\/drbdX.<\/p>\n
![\"\"](\"http:\/\/blog.guiguiabloc.fr\/wp-content\/2009\/02\/drbd1-300x279.png\" "\\"drbd1\\"")
<\/a>Exemple DRBD<\/p><\/div>\n
En cas de panne du Ma\u00eetre, le service est bascul\u00e9 sur l’Esclave et les donn\u00e9es accessibles par celui ci.<\/p>\n
![\"Bascule](\"http:\/\/blog.guiguiabloc.fr\/wp-content\/2009\/02\/drbd2-300x221.png\" "\\"drbd2\\"")
<\/a>Bascule DRBD<\/p><\/div>\n
Le volume DRBD, appel\u00e9 par exemple \/dev\/drbd0 est alors \u00ab\u00a0mont\u00e9\u00a0\u00bb en syst\u00e8me de fichier sur la machine passive qui devient alors, active.<\/p>\n
Je parle bien entendu de synchronisation en mode \u00ab\u00a0bloc\u00a0\u00bb, pas d’une synchronisation de fichiers comme le fait rsync ou autre.<\/p>\n
Dans cet exemple, le syst\u00e8me de fichier reste standard (ext2, ext3, reiser etc…).<\/p>\n
Si maintenant vous avez d\u00e9cid\u00e9 de mettre en oeuvre un loadbalancing suite \u00e0 la lecture de cet excellent billet<\/a> \ud83d\ude09 , les choses se compliquent.<\/p>\n En effet, nous nous trouvons dans un cas de figure o\u00f9 les deux serveurs sont Ma\u00eetres, donc Actif.<\/p>\n Heureusement, depuis la version 0.8 de DRBD, les deux noeuds peuvent \u00eatre \u00ab\u00a0Primary\u00a0\u00bb.<\/p>\n (nb. : la version 0.9 devrait apporter le support de plus de 2 noeuds)<\/p>\n Par contre, pour pouvoir utiliser ses deux noeuds en mode Primaire, il faut un syst\u00e8me de fichier \u00ab\u00a0distribu\u00e9\u00a0\u00bb (vous trouverez souvent le terme \u00ab\u00a0shared disk file system\u00a0\u00bb).<\/p>\n Il en existe peu et les principaux sont GFS<\/a> et OCFS2<\/a>.<\/p>\n Le premier est issu de RedHat et le second d’Oracle. Sachez que le support de ses deux syst\u00e8mes de fichiers est inclus dans les noyaux Linux r\u00e9cents.<\/p>\n J’ai test\u00e9 les deux quelques temps et suite \u00e0 mon retour personnel d’exp\u00e9rience et les discussions avec d’autres \u00ab\u00a0geeks\u00a0\u00bb ayant jou\u00e9 avec les deux, j’ai une nette pr\u00e9f\u00e9rence pour OCFS2. La suite de ce billet se basera donc sur ce syst\u00e8me de fichier.<\/p>\n (je vous laisse bien s\u00fbr \u00e0 vos propres exp\u00e9riences et recherches, si vous pr\u00e9f\u00e9rez GFS ou Lustre<\/a>, je ne vous jetterai pas de pierres \ud83d\ude00 )<\/p>\n Une fois mise en place, nous nous retrouvons donc avec ce type d’architecture :<\/p>\n OCFS2<\/p><\/div>\n La, on commence \u00e0 \u00eatre \u00ab\u00a0poilu\u00a0\u00bb non ?<\/p>\n Oui, MAIS, cette architecture est valable uniquement si on utilise les ressources locales des 2 serveurs (i.e. leurs disques durs).<\/p>\n Si je ne veux pas utiliser les disques durs de mes serveurs mais les disques d’un autre groupe de serveurs d\u00e9di\u00e9s a cela ? Comment je fais ? HEIN ! Comment ???<\/p>\n Du calme, jeune Padawan, tu sais bien que Guiguiabloc est… \u00e0 bloc…<\/p>\n Nous allons utiliser un SAN pour connecter nos disques distants \u00e0 nos serveurs.<\/p>\n Un SAN !?! Mais j’ai pas de sous moi !!!<\/p>\n Allons, jeune Youngling, tu n’auras nul besoin de casser ton petit cochon qui te sert de tirelire, nous allons utiliser le protocole Iscsi<\/a>.<\/p>\n L’ISCSI est du SCSI sur TCP\/IP, nous allons connecter via ce protocole nos disques distants sur nos serveurs qui les verront comme s’il s’agissait de disques locaux.<\/p>\n (j’avais d\u00e9j\u00e0 abord\u00e9 le sujet dans ce billet<\/a>)<\/p>\n De plus en plus \u00ab\u00a0poilu\u00a0\u00bb… Mais pas encore assez. Poussons le bouchon un peu plus loin (hein Maurice ?<\/a>) , je veux bien s\u00fbr de la redondance sur mes connexions Iscsi.<\/p>\n Et comment je fais de la haute disponibilit\u00e9 sur des iniatiators Iscsi ???<\/p>\n En utilisant un Device Mapper Multipath<\/a>.<\/p>\n Bien s\u00fbr l\u00e0 vous vous dites : Guiguiabloc est fou\/malade\/a bloc\/allum\u00e9 (rayez les mentions inutiles) , et je vous r\u00e9pondrais… oui.<\/p>\n Sch\u00e9matisons le bouzin :<\/p>\n Sch\u00e9ma FS distribu\u00e9<\/p><\/div>\n C’est beau hein ? \ud83d\ude42<\/p>\n Apr\u00e8s la th\u00e9orie, passons \u00e0 la phase la plus dure, la pratique.<\/p>\n R\u00e9cuperer les souces :<\/p>\n http:\/\/oss.linbit.com\/drbd\/8.3\/drbd-8.3.0.tar.gz<\/a><\/p>\n Edition du fichier \/etc\/drbd.conf (bien sur, remplacer les valeurs par les votres)<\/p>\n Sur chacun des noeuds :<\/p>\n Vous suivez la synchro via un cat \/proc\/drbd<\/p>\n Je ne m’\u00e9tends pas la dessus, j’en avais d\u00e9j\u00e0 parl\u00e9 dans un autre billet<\/a>.<\/p>\n Sur les deux \u00ab\u00a0serveurs disques\u00a0\u00bb, on va installer un Target ISCSI.<\/p>\n (en terminologie ISCSI, on parle de Target pour la cible (soit la machine qui \u00ab\u00a0offre\u00a0\u00bb son disque) et d’Initiator pour la machine qui va se connecter au Target).<\/p>\n Je vous invite cet excellent article :<\/p>\n http:\/\/www.unixgarden.com\/index.php\/administration-reseau\/le-support-du-protocole-iscsi-dans-linux<\/a><\/p>\n Nous allons utiliser les sources du projet iSCSI Entreprise Target<\/a> , ici en version 0.4.17.<\/p>\n On pr\u00e9pare son \/etc\/ietd.conf (volontairement simplifi\u00e9 a l’extr\u00e8me).<\/p>\n Vous remarquerez que j’exporte via ISCSI le volume DRBD0.<\/p>\n On configure le fichier d’autorisation d’acc\u00e8s (comme les hosts.allow des wrappers tcp)<\/p>\n M\u00eame chose sur le deuxi\u00e8me serveur (changer juste le nom du target).<\/p>\n on d\u00e9marre \/etc\/init.d\/iscsi-target start, et on v\u00e9rifie<\/p>\n Sur nos deux serveurs srv-guiguiabloc-a et srv-guiguiabloc-b, nous allons installer l’Initiator (le client ISCSI si vous pr\u00e9f\u00e9rez).<\/p>\n R\u00e9cup\u00e9rons des sources sur le site http:\/\/www.open-iscsi.org\/<\/a><\/p>\n On donne un nom explicite \u00e0 notre Initiator, puis on d\u00e9marre le service.<\/p>\n Lan\u00e7ons une d\u00e9couverte du service<\/p>\n Un succ\u00e8s \ud83d\ude00<\/p>\n (Bien s\u00fbr vous reproduisez tout cela sur srv-guiguiabloc-b)<\/p>\n Maintenant, montons les sessions ISCSI sur nos deux Targets, sur nos deux serveurs<\/p>\n Pour l’inclure en d\u00e9marrage automatique :<\/p>\n iscsiadm -m node -T iqn.2009-02.fr.guiguiabloc:disk-a.disk -p 192.168.30.1 -o update -n \u00ab\u00a0node.conn[0].startup\u00a0\u00bb -v automatic<\/p>\n (je vous laisse lire la documentation et\/ou l’article sur Unix Garden.)<\/p>\n Nous allons utiliser une des couches du syst\u00e8me Linux, le Device Mapper.<\/p>\n Son r\u00f4le est tout simplement de mapper un ou plusieurs p\u00e9riph\u00e9riques de blocs sur un autre p\u00e9riph\u00e9rique. Vous trouverez un excellent billet la dessus sur : http:\/\/linux-attitude.fr\/post\/La-carte-du-peripherique<\/a><\/p>\n Et l’une des fonctions offertes par DM et le ISCSI, c’est le Multipath.<\/p>\n C’est \u00e0 dire acc\u00e9der \u00e0 un p\u00e9riph\u00e9rique par plusieurs chemins diff\u00e9rents \ud83d\ude42<\/p>\n Vous voyez ou je veux en venir ?….<\/p>\n Si notre Target A tombe, pas de soucis, srv-guiguiabloc-x passera par l’autre chemin, en l’occurrence le Target B, tout cela gr\u00e2ce au Multipath (pas celui LA hein<\/a> \ud83d\ude09 )<\/p>\n (hi hi hi, d\u00e9sol\u00e9, il fallait que je la fasse)<\/p>\n Sur Debian : apt-get install multipath-tools<\/p>\n Editer votre fichier \/etc\/multipath.conf<\/p>\n Vous voyez vos p\u00e9riph\u00e9riques de blocs que vous pouvez utiliser comme n’importe quel autre. (bien s\u00fbr, m\u00eame punition pour srv-guiguiabloc-b).<\/p>\n On arrive \u00ab\u00a0enfin\u00a0\u00bb au syst\u00e8me de fichier proprement dit.<\/p>\n Sur les 2 srv-guiguiabloc :<\/p>\n apt-get install ocfs2-tools<\/p>\n On cr\u00e9er le r\u00e9pertoire \/etc\/ocfs2<\/p>\n On \u00e9dite un fichier cluster.conf (identique sur les deux noeuds)<\/p>\n Changer la valeur \u00ab\u00a0O2CB_ENABLED=false\u00a0\u00bb en \u00ab\u00a0O2CB_ENABLED=true\u00a0\u00bb dans \/etc\/default\/o2cb<\/p>\n D\u00e9marrer le cluster :<\/p>\n Et on formate \ud83d\ude00<\/p>\n Et c’est tout !<\/p>\n N’essayer pas de formater \/dev\/mapper\/mpath1, ou \/dev\/mapper\/mpath0 sur srv-guiguiabloc-b, vous aurez ce message :<\/p>\n Ce qui prouve bien que notre volume est bien vu de srv-guiguiabloc-b, par le chemin \/dev\/mapper\/mpath0 ou \/dev\/mapper\/mpath1 \ud83d\ude00<\/p>\n C’est pas magnifique tout cela ?<\/p>\n Et maintenant, le test final :<\/p>\n Vous pouvez vous amuser \u00e0 \u00e9crire des deux c\u00f4t\u00e9s, couper un Target, vautrer un disque etc…<\/p>\n Apr\u00e8s plusieurs essais intensifs, je vous avoue que j’ai \u00e9t\u00e9 bluff\u00e9 par le fonctionnement, que, je l’avoue, j’ai pouss\u00e9 \u00e0 l’extr\u00eame.<\/p>\n Ne reste qu’\u00e0 le greffer sur votre architecture \u00ab\u00a0Alt\u00e9onis\u00e9e\u00a0\u00bb que vous avez mont\u00e9e apr\u00e8s la lecture de :<\/p>\n Switch applicatif avec OpenBSD, un Alt\u00e9on \u00e0 la maison ?…<\/a><\/p><\/blockquote>\n![\"OCFS2\"](\"http:\/\/blog.guiguiabloc.fr\/wp-content\/2009\/02\/ocfs2-300x279.png\" "\\"ocfs2\\"")
<\/a>![\"Sch\u00e9ma](\"http:\/\/blog.guiguiabloc.fr\/wp-content\/2009\/02\/schemafs-ha-285x300.png\" "\\"schemafs-ha\\"")
<\/a>\n
tar xzvf drbd-8.3.0.tar.gz\r\ncd drbd-8.3.0\r\ncd drbd\r\nmake\r\ncd ..\r\nmake tools\r\nmake install\r\nmake install-tools<\/pre>\n
#\/etc\/drbd.conf\r\n\r\nglobal {\r\nusage-count yes;\r\n}\r\n\r\nresource r0 {\r\nprotocol C;\r\nstartup {\r\nbecome-primary-on both;\r\n}\r\ndisk {\r\non-io-error detach;\r\n}\r\n\r\nnet {\r\nallow-two-primaries;\r\nafter-sb-0pri discard-least-changes;\r\nafter-sb-1pri violently-as0p;\r\nafter-sb-2pri violently-as0p;\r\nrr-conflict violently;\r\n}\r\nsyncer {\r\nrate 44M;\r\n}\r\n\r\non DISK-GUIGUIABLOC-A { # nom du serveur 1\r\ndevice \/dev\/drbd0;\r\ndisk \/dev\/sda4; # partition a prendre en compte\r\naddress 192.168.30.1:7788; # adresse ip et port d'\u00e9coute\r\nmeta-disk internal;\r\n}\r\non DISK-GUIGUIABLOC-B { # nom du serveur 2\r\ndevice \/dev\/drbd0;\r\ndisk \/dev\/sda3; # partition a prendre en compte\r\naddress 192.168.30.2:7788; # adresse ip et port d'\u00e9coute\r\nmeta-disk internal;\r\n}\r\n}<\/pre>\ndrbdadm create-md r0\r\nmodprobe drbd\r\ndrbdadm attach r0\r\ndrbdadm connect r0\r\n\r\nPuis sur le noeud1 par exemple\r\ndrbdadm -- --overwrite-data-of-peer primary r0\r\n\r\n\/etc\/init.d\/drbd start<\/pre>\n
\n
wget http:\/\/kent.dl.sourceforge.net\/sourceforge\/iscsitarget\/iscsitarget-0.4.17.tar.gz\r\ntar xzvf iscsitarget-0.4.17.tar.gz\r\ncd iscsitarget-0.4.17\r\nmake\r\nmake install<\/pre>\n
Target iqn.2009-02.fr.guiguiabloc:disk-a.disk\r\n Lun 0 Path=\/dev\/drbd0,Type=blockio\r\n Alias disk<\/pre>\n
DISK-GUIGUIABLOC-a# cat \/etc\/initiators.allow\r\n\r\niqn.2009-02.fr.guiguiabloc:disk-a.disk ALL<\/pre>\n
DISK-GUIGUIABLOC-a:\/etc\/iscsi\/ifaces# \/etc\/init.d\/iscsi-target status\r\niSCSI enterprise target is running at pid 7715\r\nDISK-GUIGUIABLOC-a:\/etc\/iscsi\/ifaces# cat \/proc\/net\/iet\/volume\r\ntid:2 name:iqn.2009-02.fr.guiguiabloc:disk-a.disk\r\n lun:0 state:0 iotype:blockio iomode:wt path:\/dev\/drbd0<\/pre>\n
\n
wget http:\/\/www.open-iscsi.org\/bits\/open-iscsi-2.0-870.2.tar.gz\r\n\r\ntar xzvf open-iscsi-2.0-870.2.tar.gz\r\n\r\nmake\r\n\r\nmake install<\/pre>\n
srv-guiguiabloc-a:\/etc\/iscsi# cat initiatorname.iscsi\r\nInitiatorName=iqn.2009-02.fr.guiguiabloc:srvA\r\n\r\nsrv-guiguiabloc-a:\/etc\/iscsi# \/etc\/init.d\/open-iscsi start\r\nStarting iSCSI initiator service: iscsid.\r\nSetting up iSCSI targets:iscsiadm: No records found!<\/pre>\n
srv-guiguiabloc-a:\/etc\/iscsi# iscsiadm -m discovery -t sendtargets -p 192.168.30.1:3260\r\n192.168.30.1:3260,1 iqn.2009-02.fr.guiguiabloc:disk-a.disk\r\n\r\nsrv-guiguiabloc-a:\/etc\/iscsi# iscsiadm -m discovery -t sendtargets -p 192.168.30.2:3260\r\n192.168.30.2:3260,1 iqn.2009-02.fr.guiguiabloc:disk-b.disk<\/pre>\n
srv-guiguiabloc-a:~# iscsiadm -m node -T iqn.2009-02.fr.guiguiabloc:disk-a.disk -p 192.168.30.1 -l\r\nLogin session [iface: default, target: iqn.2009-02.fr.guiguiabloc:disk-a.disk, portal: 192.168.30.1,3260]\r\nsrv-guiguiabloc-a:~# iscsiadm -m node -T iqn.2009-02.fr.guiguiabloc:disk-b.disk -p 192.168.30.2 -l\r\nLogin session [iface: default, target: iqn.2009-02.fr.guiguiabloc:disk-b.disk, portal: 192.168.30.2,3260]\r\n\r\nsrv-guiguiabloc-b:~# iscsiadm -m node -T iqn.2009-02.fr.guiguiabloc:disk-a.disk -p 192.168.30.1 -l\r\nLogin session [iface: default, target: iqn.2009-02.fr.guiguiabloc:disk-a.disk, portal: 192.168.30.1,3260]\r\nsrv-guiguiabloc-b:~# iscsiadm -m node -T iiqn.2009-02.fr.guiguiabloc:disk-b.disk -p 192.168.30.2 -l\r\nLogin session [iface: default, target: iiqn.2009-02.fr.guiguiabloc:disk-b.disk, portal: 192.168.30.2,3260]\r\n\r\nVous devriez voir vos disques en local d\u00e9sormais :\r\n\r\nsrv-guiguiabloc-a:~# cat \/proc\/scsi\/scsi\r\nAttached devices:\r\nHost: scsi1 Channel: 00 Id: 00 Lun: 00\r\n Vendor: IET Model: VIRTUAL-DISK Rev: 0\r\n Type: Direct-Access ANSI SCSI revision: 04\r\nHost: scsi2 Channel: 00 Id: 00 Lun: 00\r\n Vendor: IET Model: VIRTUAL-DISK Rev: 0\r\n Type: Direct-Access ANSI SCSI revision: 04<\/pre>\n
\n
\nEn fait, vous l’utilisez souvent sans peut-\u00eatre le savoir avec LVM.<\/p>\nblacklist {\r\ndevnode \"sda\" # ici le disque local que j'exclue\r\n}\r\ndefaults {\r\nuser_friendly_names yes\r\n}\r\n\r\nsrv-guiguiabloc-a:# \/etc\/init.d\/multipath-tools restart\r\n\r\nsrv-guiguiabloc-a:\/dev\/mapper# ll\r\ntotal 0\r\ncrw-rw---- 1 root root 10, 63 2009-02-14 19:57 control\r\nbrw-rw---- 1 root disk 254, 0 2009-02-16 15:16 mpath0\r\nbrw-rw---- 1 root disk 254, 1 2009-02-16 15:16 mpath1<\/pre>\n
\nEn cas de d\u00e9connexion d’un Target, Multipath retirera le p\u00e9riph\u00e9rique de la liste automatiquement.<\/p>\n\n
node:\r\n ip_port = 7777\r\n ip_address = 192.168.30.1\r\n number = 0\r\n name = srv-guiguiabloc-a\r\n cluster = ocfs2\r\n\r\nnode:\r\n ip_port = 7777\r\n ip_address = 192.168.30.2\r\n number = 1\r\n name = srv-guiguiabloc-b\r\n cluster = ocfs2\r\n\r\ncluster:\r\n node_count = 2\r\n name = ocfs2<\/pre>\n
srv-guiguiabloc-a:\/etc\/ocfs2# \/etc\/init.d\/o2cb start\r\nLoading module \"configfs\": OK\r\nMounting configfs filesystem at \/sys\/kernel\/config: OK\r\nLoading module \"ocfs2_nodemanager\": OK\r\nLoading module \"ocfs2_dlm\": OK\r\nLoading module \"ocfs2_dlmfs\": OK\r\nCreating directory '\/dlm': OK\r\nMounting ocfs2_dlmfs filesystem at \/dlm: OK\r\nStarting Oracle cluster ocfs2: OK<\/pre>\n
srv-guiguiabloc-a:\/etc\/ocfs2# mkdir \/data\r\nsrv-guiguiabloc-a:\/etc\/ocfs2# mkfs -t ocfs2 -L GUIGUIABLOCFS \/dev\/mapper\/mpath0\r\nmkfs.ocfs2 1.2.1\r\nFilesystem label=GUIGUIABLOCFS\r\nBlock size=4096 (bits=12)\r\nCluster size=4096 (bits=12)\r\nVolume size=1439338496 (351401 clusters) (351401 blocks)\r\n11 cluster groups (tail covers 28841 clusters, rest cover 32256 clusters)\r\nJournal size=67108864\r\nInitial number of node slots: 4\r\nCreating bitmaps: done\r\nInitializing superblock: done\r\nWriting system files: done\r\nWriting superblock: done\r\nFormatting Journals: done\r\nWriting lost+found: done\r\nmkfs.ocfs2 successful<\/pre>\n
srv-guiguiabloc-a:\/etc\/ocfs2# mkfs -t ocfs2 -L GUIGUIABLOCFS \/dev\/mapper\/mpath1\r\nmkfs.ocfs2 1.2.1\r\nOverwriting existing ocfs2 partition.\r\nProceed (y\/N): n\r\nAborting operation.\r\n\r\nsrv-guiguiabloc-b:\/etc\/ocfs2# mkfs -t ocfs2 -L GUIGUIABLOCFS \/dev\/mapper\/mpath0\r\nmkfs.ocfs2 1.2.1\r\nOverwriting existing ocfs2 partition.\r\nProceed (y\/N): n\r\nAborting operation.<\/pre>\n
srv-guiguiabloc-a:\/etc\/ocfs2# mount \/dev\/mapper\/mpath1 \/data\r\nsrv-guiguiabloc-a:\/etc\/ocfs2# mount\r\n\/dev\/sda1 on \/ type ext3 (rw,errors=remount-ro)\r\ntmpfs on \/lib\/init\/rw type tmpfs (rw,nosuid,mode=0755)\r\nproc on \/proc type proc (rw,noexec,nosuid,nodev)\r\nsysfs on \/sys type sysfs (rw,noexec,nosuid,nodev)\r\nudev on \/dev type tmpfs (rw,mode=0755)\r\ntmpfs on \/dev\/shm type tmpfs (rw,nosuid,nodev)\r\ndevpts on \/dev\/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)\r\nconfigfs on \/sys\/kernel\/config type configfs (rw)\r\nocfs2_dlmfs on \/dlm type ocfs2_dlmfs (rw)\r\n\/dev\/mapper\/mpath1 on \/data type ocfs2 (rw,_netdev,heartbeat=local)\r\n\r\nsrv-guiguiabloc-b:\/etc\/ocfs2# mount \/dev\/mapper\/mpath0 \/data\r\nsrv-guiguiabloc-b:\/etc\/ocfs2# mount\r\n\/dev\/sda1 on \/ type ext3 (rw,errors=remount-ro)\r\ntmpfs on \/lib\/init\/rw type tmpfs (rw,nosuid,mode=0755)\r\nproc on \/proc type proc (rw,noexec,nosuid,nodev)\r\nsysfs on \/sys type sysfs (rw,noexec,nosuid,nodev)\r\nudev on \/dev type tmpfs (rw,mode=0755)\r\ntmpfs on \/dev\/shm type tmpfs (rw,nosuid,nodev)\r\ndevpts on \/dev\/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)\r\nconfigfs on \/sys\/kernel\/config type configfs (rw)\r\nocfs2_dlmfs on \/dlm type ocfs2_dlmfs (rw)\r\n\/dev\/mapper\/mpath0 on \/data type ocfs2 (rw,_netdev,heartbeat=local)\r\n\r\nsrv-guiguiabloc-a:\/data# touch test\r\n\r\nsrv-guiguiabloc-b:\/data# ls\r\ntest lost+found<\/pre>\n