据我所知,这个问题是在从 Debian Squeeze 升级到 Wheezy 后出现的。症状是极其如果通过任何客户端的 nfs 共享进行写入,则服务器的 dmraid 上的写入性能会很慢。性能问题似乎在传输几分钟后发生,并且可能只发生在大文件上。
在这种情况下,硬盘的噪音非常简洁 - 由于我正在谈论我的家用服务器,我可以通过声音告诉你系统当前是否处于问题状态:D 这可能提示原因,因为它听起来像寻道或随机读/写基准,但不像单独完成的读取基准或写入基准。
在 Ubuntu 14.04 系统上使用 nfs 共享或/和在 Mythbuntu 12.04 系统上使用 nfs 共享时会出现问题 - 行为没有区别。为此,我不得不将 Mythbuntu 系统切换到 sftp,因为该系统会自动将电视录音复制到服务器。
需要强调的是:通过 ssh/scp/sftp 复制相同的文件完全没有问题,而且性能良好!(1 GBit/s 网络)
回到有问题的传输:传输速度形成波浪:它真的很慢,大约在 150-250 KiB/s 持续约 4 秒,然后以大约 4-7 MiB/s 的速度“吸收”一块数据,持续约 1-2 秒。
这强调了没有网络问题、没有协议错误、没有可能导致系统变慢的辅助负载。
这些是版本:
nsk@server7even3:~$ lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description: Debian GNU/Linux 7.6 (wheezy)
Release: 7.6
Codename: wheezy
nsk@server7even3:~$ uname -a
Linux server7even3 3.2.0-4-amd64 #1 SMP Debian 3.2.54-2 x86_64 GNU/Linux
nfs-kernel-server 的版本为 1:1.2.6-4
这是 iotop 的一个示例输出:好吧...我没有设法复制输出,因为它一直在刷新,从而清除了我的选择,但相关的行如下所示:
8417 be/3 root 0.00 B/s 0.00 B/s 0.00 % 99.95 % [jbd2/dm-0-8]
它并不坚持 99.xx % - 它在 91.xx-99.99 % 之间变化
当然,这次突袭不是刚刚重新同步:
nsk@server7even3:~$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md127 : active raid5 sdf1[0] sdd1[4] sda1[2] sdb1[1]
11720655360 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]
在这里您可以看到它是一个 raid5 并且文件系统是 ext4。
我在网上发现了一些类似的问题;但仔细阅读后,发现没有一个真正匹配。
有什么建议吗?
//编辑:
磁盘数据:
- 购买时间:2014 年 3 月
- 通电时间:~6150
大批:
- 使用 mdadm 创建,无需任何附加参数(据我的笔记告诉我)
- RAID 步幅:128
- RAID 条带宽度:384
分割:
- 对应行业:2048
- 区块大小:4096
- Inode 大小:256
- 每组的 Inode 数:4096
- 每组的 Inode 块:256
这是阵列上的第二个分区
我忘了说该分区还被加密了——抱歉!
nsk@server7even3:~$ sudo cryptsetup status /dev/mapper/udisks-luks-uuid-18cea73e-4176-4d8a-b80d-cc5e933beb77-uid0
/dev/mapper/udisks-luks-uuid-18cea73e-4176-4d8a-b80d-cc5e933beb77-uid0 is active and is in use.
type: LUKS1
cipher: aes-cbc-essiv:sha256
keysize: 256 bits
device: /dev/md127p2
offset: 3072 sectors
size: 15032381407 sectors
mode: read/write