DRBD 在 10GigE 上的同步性能很差

Question 1

在较新版本的 DRBD（8.3.9 及更新版本）中，有一个需要调整的动态重新同步控制器。在较旧版本的 DRBD 中，设置syncer {rate;}就足够了；现在它更多地被用作动态重新同步速度的轻度建议起点。

动态同步控制器通过 DRBD 配置的磁盘部分中的“c-settings”进行调整（$ man drbd.conf有关每个设置的详细信息，请参阅）。

由于这些节点之间有 10Gbe，并且由于使用了协议 C，因此假设延迟较低，以下配置应该可以使事情进展得更快：

资源 rd0 {
        协议C；
        磁盘 {
                c-填充目标10M；
                c-最大速率700M；
                c-计划-提前 7；
                c-最小速率4M；
        }
        在 cl1 {
                设备/dev/drbd0；
                磁盘/dev/sda4；
                地址 192.168.42.1:7788；
                元磁盘内部；
        }

        在 cl2 {
                设备/dev/drbd0；
                磁盘/dev/sda4；
                地址 192.168.42.2:7788；
                元磁盘内部；
        }
}

如果还不满意，请尝试调高max-buffers至 12k。如果还不满意，请尝试c-fill-target以 2M 为增量调高。

Answer

在较新版本的 DRBD（8.3.9 及更新版本）中，有一个需要调整的动态重新同步控制器。在较旧版本的 DRBD 中，设置syncer {rate;}就足够了；现在它更多地被用作动态重新同步速度的轻度建议起点。

动态同步控制器通过 DRBD 配置的磁盘部分中的“c-settings”进行调整（$ man drbd.conf有关每个设置的详细信息，请参阅）。

由于这些节点之间有 10Gbe，并且由于使用了协议 C，因此假设延迟较低，以下配置应该可以使事情进展得更快：

资源 rd0 {
        协议C；
        磁盘 {
                c-填充目标10M；
                c-最大速率700M；
                c-计划-提前 7；
                c-最小速率4M；
        }
        在 cl1 {
                设备/dev/drbd0；
                磁盘/dev/sda4；
                地址 192.168.42.1:7788；
                元磁盘内部；
        }

        在 cl2 {
                设备/dev/drbd0；
                磁盘/dev/sda4；
                地址 192.168.42.2:7788；
                元磁盘内部；
        }
}

如果还不满意，请尝试调高max-buffers至 12k。如果还不满意，请尝试c-fill-target以 2M 为增量调高。

Question 2

其他人建议我使用这些设置：

        disk {
                on-io-error             detach;
                c-plan-ahead 0;
        }
        net {
                max-epoch-size          20000;
                max-buffers             131072;
        }

而且性能非常出色。

编辑： 根据@Matt Kereczman 和其他人的建议，我最终改为这样：

disk {
        on-io-error             detach;
        no-disk-flushes ;
        no-disk-barrier;
        c-plan-ahead 0;
        c-fill-target 24M;
        c-min-rate 80M;
        c-max-rate 720M;
} 
net {
        # max-epoch-size          20000;
        max-buffers             36k;
        sndbuf-size            1024k ;
        rcvbuf-size            2048k;
}

重新同步速度较高：

cat /proc/drbd
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
    ns:133246146 nr:0 dw:2087494 dr:131187797 al:530 bm:0 lo:0 pe:5 ua:106 ap:0 ep:1 wo:d oos:4602377004
        [>....................] sync'ed:  2.8% (4494508/4622592)M
        finish: 1:52:27 speed: 682,064 (646,096) K/sec

使用以下设置重新同步时，写入速度非常快（本地写入速度的 80%，全线速）：

# dd if=/dev/zero of=./testdd bs=1M count=20k
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,3731 s, 731 MB/s

读取速度还可以：

# dd if=testdd bs=1M count=20k of=/dev/null
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,4538 s, 729 MB/s

稍后编辑：

完全重新同步后，性能非常好（线速写入，本地速度读取）。重新同步很快（5/6 小时），并且不会对性能造成太大影响（线速读取，线速写入）。我肯定会将 c-plan-ahead 设置为零。如果使用非零值，重新同步时间太长了。

Answer