Bonjour,
J'ai deux serveurs identiques (DELL SC1425), ayant chacun un disque de 4To (SATA2) pour /dev/drbd0.
La réplication/synchronisation des deux machines est effectuée via la seconde interface réseau des serveurs (eth1) qui est une interface Gigabit.
Le temps de synchro initial à pris environ 8H pour les 4To en forçant le rate via "drbdsetup /dev/drbd0 syncer -r 100M" Par contre si je passe le syncer à 1000M cela ne change rien...
Quelle valeur pensez vous la meilleure concernant le syncer > rate pour un DRBD (Actif/Passif) avec un lien Giga dédié à la synchro ?
Voici ma conf : # Global configuration global { # Do not report statistics usag usage-count no; } # All resources inherit the options set in this section common { # C (Synchronous replication protocol) protocol C; # Synchronization over network [ETH1] syncer { # rate rate 700000K; al-extents 257; } }
Bon weekend.
Hello,
On 29/03/2014 13:23, Sébastien 65 wrote:
Quelle valeur pensez vous la meilleure concernant le syncer > rate pour un DRBD (Actif/Passif) avec un lien Giga dédié à la synchro ?
La doc suggère un mode de calcul (en gros, 30% de la capacité max du maillon le plus faible). Cela dit, pour la synchro initiale, autant mettre tout à fond.
http://www.drbd.org/users-guide/s-configure-sync-rate.html (8.4) http://www.drbd.org/users-guide-8.3/s-configure-syncer-rate.html (8.3)
NB : syncer est deprécié à partir de drbd 8.4, ça explique pourquoi il n'y a eu pas de changement si tu utilises cette version. En effet, sauf erreur drbd ignore la section "syncer" mais ne prévient pas. :)
Durant les phases de synchro, notamment la synchro initiale, il est utile d'observer l'état de drbd (watch cat /proc/drbd), on y voit notamment le temps estimé et la vitesse de synchro (en plus du pourcentage). C'est le bon moment pour changer les paramètres en live, observer les éventuelles incidences, repérer les éventuels goulots. Penser à bien surveiller la charge CPU, la charge réseau (iftop), et les IO sur la source et la cible (top/iowaits, iostat -xm 5).
a+
Hello,
En passant le syncer a 1000M au lieu de 100M, la difference est minime etant donne qu'en admettant que ton lien est le bottleneck et pas les disques, la vitesse theorique maximale est de 125MB/s.
A 100M/s tu es donc pas loin de ta vitesse maximum de synchro.
Comme le dit Olivier, 30% une fois la premiere synchro faite est recommande et un bon compromis.
J'aime bien 'atop' personellement pour mettre en evidence ce genre de limitations (hdd, cpu, mem, inet}.
My 2 cents.
Val
Le 29 mars 2014 23:46, Olivier olc@glou.fr a écrit :
Bonjour,
Alors voici les tests d'une synchro de 4To sur l'interface Giga des deux serveurs :
root@node1:/etc/drbd.d# drbdsetup /dev/drbd0 syncer -r 1000M root@node1:/etc/drbd.d# cat /proc/drbd version: 8.3.11 (api:88/proto:86-96) srcversion: F937DCB2E5D83C6CCE4A6C9 0: cs:SyncTarget ro:Primary/Secondary ds:Inconsistent/UpToDate C r----- ns:0 nr:9537420 dw:9537408 dr:8 al:0 bm:582 lo:1 pe:7410 ua:0 ap:1 ep:1 wo:f oos:3897360024 [>....................] sync'ed: 0.3% (3806012/3815328)Mfinish: 14:40:25 speed: 73,756 (70,644) want: 1,000,001 K/sec
#### atop PRC | sys 2.41s | user 0.00s | | | #proc 72 | | #trun 1 | #tslpi 73 | #tslpu 1 | | #zombie 0 | clones 0 | | | #exit 0 | CPU | sys 19% | user 0% | | irq 1% | | | idle 275% | wait 105% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% | cpu | sys 19% | user 0% | | irq 1% | | | idle 80% | cpu003 w 0% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% | cpu | sys 2% | user 0% | | irq 0% | | | idle 98% | cpu001 w 0% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% | cpu | sys 0% | user 0% | | irq 0% | | | idle 100% | cpu002 w 0% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% | cpu | sys 0% | user 0% | | irq 0% | | | idle 0% | cpu000 w100% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% | CPL | avg1 1.95 | | avg5 0.84 | | avg15 0.78 | | | | csw 108392 | | intr 53239 | | | | numcpu 4 | MEM | tot 2.0G | | free 1.7G | cache 71.0M | | dirty 0.5M | buff 4.7M | | slab 17.9M | | | | | | | SWP | tot 4.0G | | free 4.0G | | | | | | | | | | vmcom 41.0M | | vmlim 5.0G | DSK | sdb | | busy 70% | read 0 | | write 5323 | KiB/r 0 | | KiB/w 131 | MBr/s 0.00 | | MBw/s 68.59 | avq 1.27 | | avio 1.25 ms | DSK | sda | | busy 1% | read 4 | | write 2 | KiB/r 7 | | KiB/w 38 | MBr/s 0.00 | | MBw/s 0.01 | avq 1.57 | | avio 9.33 ms | NET | transport | tcpi 47361 | | tcpo 46753 | udpi 0 | udpo 0 | tcpao 0 | | tcppo 0 | tcprs 0 | tcpie 0 | tcpor 0 | | udpnp 0 | udpip 0 | NET | network | | ipi 47363 | ipo 46754 | | ipfrw 0 | deliv 47363 | | | | | | icmpi 0 | | icmpo 0 | NET | eth1 60% | pcki 502072 | | pcko 46743 | si 601 Mbps | | so 2749 Kbps | coll 0 | mlti 0 | | erri 0 | erro 0 | | drpi 0 | drpo 0 | NET | eth0 0% | pcki 17 | | pcko 11 | si 1 Kbps | | so 10 Kbps | coll 0 | mlti 0 | | erri 0 | erro 0 | | drpi 0 | drpo 0 | PID RUID EUID THR SYSCPU USRCPU VGROW RGROW RDDSK WRDSK ST EXC S CPUNR CPU CMD 1/1 2575 root root 1 1.94s 0.00s 0K 0K 0K 0K -- - S 3 20% drbd0_receiver 2580 root root 1 0.37s 0.00s 0K 0K 0K 0K -- - S 3 4% drbd0_asender 2560 root root 1 0.04s 0.00s 0K 0K 0K 0K -- - S 1 0% drbd0_worker 2860 root root 1 0.02s 0.00s 8888K 728K 0K 0K -- - R 2 0% atop 2512 root root 1 0.02s 0.00s 0K 0K 0K 0K -- - S 3 0% kworker/3:0 2533 root root 1 0.02s 0.00s 0K 0K 0K 0K -- - S 3 0% kworker/3:1 2096 root root 1 0.00s 0.00s 0K 0K 0K 0K -- - S 3 0% sshd 1915 root root 1 0.00s 0.00s 28K 472K 28K 0K -- - S 1 0% cron 25 root root 1 0.00s 0.00s 0K 0K 0K 0K -- - S 2 0% sync_supers 176 root root 1 0.00s 0.00s 0K 0K 0K 4K -- - S 3 0% jbd2/sda1-8 2531 root root 1 0.00s 0.00s 0K 0K 0K 0K -- - S 2 0% flush-8:0
### iftop -i eth1 node1 => node2 2,16Mb 2,15Mb 2,14Mb <= 550Mb 549Mb 549Mb
Date: Sun, 30 Mar 2014 00:57:18 +1100 From: valferon@gmail.com To: frsag@frsag.org Subject: Re: [FRsAG] DRBD valeur syncer
Hello, En passant le syncer a 1000M au lieu de 100M, la difference est minime etant donne qu'en admettant que ton lien est le bottleneck et pas les disques, la vitesse theorique maximale est de 125MB/s.
A 100M/s tu es donc pas loin de ta vitesse maximum de synchro.
Comme le dit Olivier, 30% une fois la premiere synchro faite est recommande et un bon compromis.
J'aime bien 'atop' personellement pour mettre en evidence ce genre de limitations (hdd, cpu, mem, inet}.
My 2 cents. Val
Le 29 mars 2014 23:46, Olivier olc@glou.fr a écrit :
Hello,
On 29/03/2014 13:23, Sébastien 65 wrote:
Quelle valeur pensez vous la meilleure concernant le syncer > rate pour
un DRBD (Actif/Passif) avec un lien Giga dédié à la synchro ?
La doc suggère un mode de calcul (en gros, 30% de la capacité max du maillon le plus faible). Cela dit, pour la synchro initiale, autant mettre tout à fond.
http://www.drbd.org/users-guide/s-configure-sync-rate.html (8.4)
http://www.drbd.org/users-guide-8.3/s-configure-syncer-rate.html (8.3)
NB : syncer est deprécié à partir de drbd 8.4, ça explique pourquoi il n'y a eu pas de changement si tu utilises cette version. En effet, sauf erreur drbd ignore la section "syncer" mais ne prévient pas. :)
Durant les phases de synchro, notamment la synchro initiale, il est utile d'observer l'état de drbd (watch cat /proc/drbd), on y voit notamment le temps estimé et la vitesse de synchro (en plus du pourcentage). C'est le bon moment pour changer les paramètres en live, observer les éventuelles incidences, repérer les éventuels goulots. Penser à bien surveiller la charge CPU, la charge réseau (iftop), et les IO sur la source et la cible (top/iowaits, iostat -xm 5).
a+
Hello,
Au vu de tes logs, DRBD semble être configuré comme tu le souhaite ( speed: 73,756 (70,644) *want: 1,000,001 K/sec *)
Je regarderai du côté des perfs disques peut être, tu peux nous en dire un peu plus ?
(un basique dd bs=1M count=1024 if=/dev/zero of=delme conv=fdatasync devrait nous donner une idee)
Feron Valentin valferon@gmail.com 0474 225 521
Le 30 mars 2014 01:08, Sébastien 65 sebastien-65@live.fr a écrit :
Bonjour,
En fait si tu changes le syncer par 100M le want passe à 102,400 K/sec mais la vitesse reste identique... Donc je pense que les disques doivent être au max. J'utilise un cordon patch de 50cm CAT6A afin d'essayer d'optimiser le transfert entre les deux nodes...
Pour le moment je suis encore en synch, donc je vais attendre que la synchro soit terminée pour donner les perfs disques.
Date: Sun, 30 Mar 2014 01:28:27 +1100 Subject: Re: [FRsAG] DRBD valeur syncer From: valferon@gmail.com To: sebastien-65@live.fr CC: frsag@frsag.org
Hello, Au vu de tes logs, DRBD semble être configuré comme tu le souhaite ( speed: 73,756 (70,644) want: 1,000,001 K/sec )
Je regarderai du côté des perfs disques peut être, tu peux nous en dire un peu plus ?
(un basique dd bs=1M count=1024 if=/dev/zero of=delme conv=fdatasync devrait nous donner une idee) Feron Valentin valferon@gmail.com0474 225 521
Le 30 mars 2014 01:08, Sébastien 65 sebastien-65@live.fr a écrit :
Bonjour,
Alors voici les tests d'une synchro de 4To sur l'interface Giga des deux serveurs :
root@node1:/etc/drbd.d# drbdsetup /dev/drbd0 syncer -r 1000M
root@node1:/etc/drbd.d# cat /proc/drbd version: 8.3.11 (api:88/proto:86-96) srcversion: F937DCB2E5D83C6CCE4A6C9 0: cs:SyncTarget ro:Primary/Secondary ds:Inconsistent/UpToDate C r-----
ns:0 nr:9537420 dw:9537408 dr:8 al:0 bm:582 lo:1 pe:7410 ua:0 ap:1 ep:1 wo:f oos:3897360024 [>....................] sync'ed: 0.3% (3806012/3815328)Mfinish: 14:40:25 speed: 73,756 (70,644) want: 1,000,001 K/sec
#### atop PRC | sys 2.41s | user 0.00s | | | #proc 72 | | #trun 1 | #tslpi 73 | #tslpu 1 | | #zombie 0 | clones 0 | | | #exit 0 |
CPU | sys 19% | user 0% | | irq 1% | | | idle 275% | wait 105% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% |
cpu | sys 19% | user 0% | | irq 1% | | | idle 80% | cpu003 w 0% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% |
cpu | sys 2% | user 0% | | irq 0% | | | idle 98% | cpu001 w 0% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% |
cpu | sys 0% | user 0% | | irq 0% | | | idle 100% | cpu002 w 0% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% |
cpu | sys 0% | user 0% | | irq 0% | | | idle 0% | cpu000 w100% | | | steal 0% | guest 0% | | curf 2.80GHz | curscal ?% |
CPL | avg1 1.95 | | avg5 0.84 | | avg15 0.78 | | | | csw 108392 | | intr 53239 | | | | numcpu 4 |
MEM | tot 2.0G | | free 1.7G | cache 71.0M | | dirty 0.5M | buff 4.7M | | slab 17.9M | | | | | | |
SWP | tot 4.0G | | free 4.0G | | | | | | | | | | vmcom 41.0M | | vmlim 5.0G |
DSK | sdb | | busy 70% | read 0 | | write 5323 | KiB/r 0 | | KiB/w 131 | MBr/s 0.00 | | MBw/s 68.59 | avq 1.27 | | avio 1.25 ms |
DSK | sda | | busy 1% | read 4 | | write 2 | KiB/r 7 | | KiB/w 38 | MBr/s 0.00 | | MBw/s 0.01 | avq 1.57 | | avio 9.33 ms |
NET | transport | tcpi 47361 | | tcpo 46753 | udpi 0 | udpo 0 | tcpao 0 | | tcppo 0 | tcprs 0 | tcpie 0 | tcpor 0 | | udpnp 0 | udpip 0 |
NET | network | | ipi 47363 | ipo 46754 | | ipfrw 0 | deliv 47363 | | | | | | icmpi 0 | | icmpo 0 |
NET | eth1 60% | pcki 502072 | | pcko 46743 | si 601 Mbps | | so 2749 Kbps | coll 0 | mlti 0 | | erri 0 | erro 0 | | drpi 0 | drpo 0 |
NET | eth0 0% | pcki 17 | | pcko 11 | si 1 Kbps | | so 10 Kbps | coll 0 | mlti 0 | | erri 0 | erro 0 | | drpi 0 | drpo 0 |
PID RUID EUID THR SYSCPU USRCPU VGROW RGROW RDDSK WRDSK ST EXC S CPUNR CPU CMD 1/1
2575 root root 1 1.94s 0.00s 0K 0K 0K 0K -- - S 3 20% drbd0_receiver
2580 root root 1 0.37s 0.00s 0K 0K 0K 0K -- - S 3 4% drbd0_asender
2560 root root 1 0.04s 0.00s 0K 0K 0K 0K -- - S 1 0% drbd0_worker
2860 root root 1 0.02s 0.00s 8888K 728K 0K 0K -- - R 2 0% atop
2512 root root 1 0.02s 0.00s 0K 0K 0K 0K -- - S 3 0% kworker/3:0
2533 root root 1 0.02s 0.00s 0K 0K 0K 0K -- - S 3 0% kworker/3:1
2096 root root 1 0.00s 0.00s 0K 0K 0K 0K -- - S 3 0% sshd
1915 root root 1 0.00s 0.00s 28K 472K 28K 0K -- - S 1 0% cron
25 root root 1 0.00s 0.00s 0K 0K 0K 0K -- - S 2 0% sync_supers
176 root root 1 0.00s 0.00s 0K 0K 0K 4K -- - S 3 0% jbd2/sda1-8
2531 root root 1 0.00s 0.00s 0K 0K 0K 0K -- - S 2 0% flush-8:0
### iftop -i eth1 node1 => node2 2,16Mb 2,15Mb 2,14Mb
<= 550Mb 549Mb 549Mb
Date: Sun, 30 Mar 2014 00:57:18 +1100 From: valferon@gmail.com To: frsag@frsag.org Subject: Re: [FRsAG] DRBD valeur syncer
Hello,
En passant le syncer a 1000M au lieu de 100M, la difference est minime etant donne qu'en admettant que ton lien est le bottleneck et pas les disques, la vitesse theorique maximale est de 125MB/s.
A 100M/s tu es donc pas loin de ta vitesse maximum de synchro.
Comme le dit Olivier, 30% une fois la premiere synchro faite est recommande et un bon compromis.
J'aime bien 'atop' personellement pour mettre en evidence ce genre de limitations (hdd, cpu, mem, inet}.
My 2 cents. Val
Le 29 mars 2014 23:46, Olivier olc@glou.fr a écrit :
Hello,
On 29/03/2014 13:23, Sébastien 65 wrote:
Quelle valeur pensez vous la meilleure concernant le syncer > rate pour
un DRBD (Actif/Passif) avec un lien Giga dédié à la synchro ?
La doc suggère un mode de calcul (en gros, 30% de la capacité max du maillon le plus faible). Cela dit, pour la synchro initiale, autant mettre tout à fond.
http://www.drbd.org/users-guide/s-configure-sync-rate.html (8.4)
http://www.drbd.org/users-guide-8.3/s-configure-syncer-rate.html (8.3)
NB : syncer est deprécié à partir de drbd 8.4, ça explique pourquoi il n'y a eu pas de changement si tu utilises cette version. En effet, sauf erreur drbd ignore la section "syncer" mais ne prévient pas. :)
Durant les phases de synchro, notamment la synchro initiale, il est utile d'observer l'état de drbd (watch cat /proc/drbd), on y voit notamment le temps estimé et la vitesse de synchro (en plus du pourcentage). C'est le bon moment pour changer les paramètres en live, observer les éventuelles incidences, repérer les éventuels goulots. Penser à bien surveiller la charge CPU, la charge réseau (iftop), et les IO sur la source et la cible (top/iowaits, iostat -xm 5).
a+
Re,
On 29/03/2014 15:53, Sébastien 65 wrote:
Si le disque sature (en lecture d'un côté, en écriture de l'autre, voire les deux), cela doit se voir : - au niveau de l'iowait (avec top, atop...), qui doit monter de manière significative - ou mieux, avec iostat (iostat -xm 5), colonne %util mais ce n'est pas toujours évident de faire la part des choses entre drbd et les devices physiques
70 Mo/s me parait un tout petit peu faible (mais pas catastrophique non plus) pour un unique disque, cela dit il faut tenir compte de l'overhead ajouté par drbd. C'est quoi, le contrôleur ?
Bonne continuation,
=> contrôleur SATA du SC1425 Le disque avec le système d'exploitation est sur le port SATA1 Le disque utilisé par DRBD est sur le port SATA2
00:1f.1 IDE interface: Intel Corporation 82801EB/ER (ICH5/ICH5R) IDE Controller (rev 02) (prog-if 8a [Master SecP PriP]) Subsystem: Dell PowerEdge SC1425 Flags: bus master, medium devsel, latency 0, IRQ 18 I/O ports at 01f0 [size=8] I/O ports at 03f4 [size=1] I/O ports at 0170 [size=8] I/O ports at 0374 [size=1] I/O ports at fc00 [size=16] Memory at 80000000 (32-bit, non-prefetchable) [size=1K] Kernel driver in use: ata_piix 00:1f.2 IDE interface: Intel Corporation 82801EB (ICH5) SATA Controller (rev 02) (prog-if 8f [Master SecP SecO PriP PriO]) Subsystem: Dell PowerEdge SC1425 Flags: bus master, 66MHz, medium devsel, latency 0, IRQ 18 I/O ports at ccb8 [size=8] I/O ports at ccb0 [size=4] I/O ports at cca0 [size=8] I/O ports at cc98 [size=4] I/O ports at cc80 [size=16] Kernel driver in use: ata_piix
-
Olivier -
Sébastien 65 -
Valentin FERON