由于 jbd2 繁忙,NFS 写入 md-raid 的速度极慢

由于 jbd2 繁忙,NFS 写入 md-raid 的速度极慢

据我所知,这个问题是在从 Debian Squeeze 升级到 Wheezy 后出现的。症状是极其如果通过任何客户端的 nfs 共享进行写入,则服务器的 dmraid 上的写入性能会很慢。性能问题似乎在传输几分钟后发生,并且可能只发生在大文件上。

在这种情况下,硬盘的噪音非常简洁 - 由于我正在谈论我的家用服务器,我可以通过声音告诉你系统当前是否处于问题状态:D 这可能提示原因,因为它听起来像寻道或随机读/写基准,但不像单独完成的读取基准或写入基准。

在 Ubuntu 14.04 系统上使用 nfs 共享或/和在 Mythbuntu 12.04 系统上使用 nfs 共享时会出现问题 - 行为没有区别。为此,我不得不将 Mythbuntu 系统切换到 sftp,因为该系统会自动将电视录音复制到服务器。

需要强调的是:通过 ssh/scp/sftp 复制相同的文件完全没有问题,而且性能良好!(1 GBit/s 网络)

回到有问题的传输:传输速度形成波浪:它真的很慢,大约在 150-250 KiB/s 持续约 4 秒,然后以大约 4-7 MiB/s 的速度“吸收”一块数据,持续约 1-2 秒。

这强调了没有网络问题、没有协议错误、没有可能导致系统变慢的辅助负载。

这些是版本:

nsk@server7even3:~$ lsb_release -a
 No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux 7.6 (wheezy)
Release:    7.6
Codename:   wheezy
nsk@server7even3:~$ uname -a
Linux server7even3 3.2.0-4-amd64 #1 SMP Debian 3.2.54-2 x86_64 GNU/Linux

nfs-kernel-server 的版本为 1:1.2.6-4

这是 iotop 的一个示例输出:好吧...我没有设法复制输出,因为它一直在刷新,从而清除了我的选择,但相关的行如下所示:

8417 be/3 root     0.00 B/s    0.00 B/s  0.00 % 99.95 % [jbd2/dm-0-8]

它并不坚持 99.xx % - 它在 91.xx-99.99 % 之间变化

当然,这次突袭不是刚刚重新同步:

nsk@server7even3:~$ cat /proc/mdstat 
Personalities : [raid6] [raid5] [raid4] 
md127 : active raid5 sdf1[0] sdd1[4] sda1[2] sdb1[1]
      11720655360 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]

在这里您可以看到它是一个 raid5 并且文件系统是 ext4。

我在网上发现了一些类似的问题;但仔细阅读后,发现没有一个真正匹配。

有什么建议吗?


//编辑:

磁盘数据:

  • 购买时间:2014 年 3 月
  • 通电时间:~6150

大批:

  • 使用 mdadm 创建,无需任何附加参数(据我的笔记告诉我)
  • RAID 步幅:128
  • RAID 条带宽度:384

分割:

  • 对应行业:2048
  • 区块大小:4096
  • Inode 大小:256
  • 每组的 Inode 数:4096
  • 每组的 Inode 块:256

这是阵列上的第二个分区

我忘了说该分区还被加密了——抱歉!

nsk@server7even3:~$ sudo cryptsetup status /dev/mapper/udisks-luks-uuid-18cea73e-4176-4d8a-b80d-cc5e933beb77-uid0
/dev/mapper/udisks-luks-uuid-18cea73e-4176-4d8a-b80d-cc5e933beb77-uid0 is active and is in use.
  type:    LUKS1
  cipher:  aes-cbc-essiv:sha256
  keysize: 256 bits
  device:  /dev/md127p2
  offset:  3072 sectors
  size:    15032381407 sectors
  mode:    read/write

相关内容