我在 centos7 存储服务器上遇到了一个非常奇怪的 xfs 问题。在 lvm 中的这个特定 fs 上，它在很多不同情况下都非常慢。起初我以为是读取和/或写入，因为cp4.5 GB 的 iso 文件比在好的 fs 中花费的时间长 100 倍。我想知道这是否是对齐问题。但现在它挂在一个简单的 上ls -lh，没有其他任何事情发生在这个文件系统上，这里一定有其他非常错误的地方......
看看这一系列命令。 ls一开始很好，然后在文件创建测试之后，第二个ls就挂了：
# cd perf_test/
# ls
CentOS-7-x86_64-DVD-1708.iso CentOS-7-x86_64-DVD-1708.iso.cp1
# ls -l
total 8830984
-rw-rw-r--. 1 t t 4521459712 Sep 6 2017 CentOS-7-x86_64-DVD-1708.iso
-rw-r--r--. 1 root root 4521459712 Apr 9 21:47 CentOS-7-x86_64-DVD-1708.iso.cp1
# date; time -p dd if=/dev/zero of=test.dd bs=1k count=64k ; echo $? ; date
Thu Apr 12 23:50:58 PDT 2018
65536+0 records in
65536+0 records out
67108864 bytes (67 MB) copied, 0.264055 s, 254 MB/s
real 0.27
user 0.02
sys 0.24
0
Thu Apr 12 23:50:58 PDT 2018
# ls -lh
(this ls has been running for 20 minutes now and still hasn't returned)
如果我打开另一个 ssh 会话，/bin/ls -lh 会立即返回。当然，ls 的默认版本别名为 --color，统计所有 inode（针对所有 3 个文件）需要更长的时间，它肯定不会挂起？
FS 非常新，上面只有很少的数据：/dev/mapper/datavg02-datalv02 125T 1.1T 124T 1% /mnt/tmp_data02
发生了一些奇怪的事情：
- FS 及其 LV“主机”首先在~10GB 处创建，然后是 lvextend -L+500G/xfs_growfs，然后再次是 lvextend -L 125T/xfs_growfs。
- 早期功能测试还不错。
- 开始向其中复制文件。现在有 1.1TB。
- 当时感觉机器似乎非常慢。
- 发出重新启动命令，花了很长时间（5 分钟以上），以为机器挂了，所以决定关机。
- mount 花了很长时间才能再次挂载 fs（比如 24 小时以上）。
- 但 fs 现在可以非常快速地卸载和安装。
关于软件堆栈的一些细节：
# uname -a
Linux roost 3.10.0-693.17.1.el7.x86_64 #1 SMP Thu Jan 25 20:13:58 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
# rpm -qa | grep xfs
xfsprogs-4.5.0-12.el7.x86_64
xfsdump-3.1.4-1.el7.x86_64
RAID 卡：
b3:00.0 RAID bus controller: LSI Logic / Symbios Logic MegaRAID SAS-3 3108 [Invader] (rev 02)
它是一个 raid 6“虚拟磁盘”，有 16 个 10 TB 驱动器。此 VD 上有 LVM2，此卷组上有两个 XFS。另一个 XFS 卷运行良好，尽管它是一个 123GB FS。
可能存在什么问题以及我该如何解决它？
谢谢！
电视
~~~~~
感谢 Tux 的反馈:)
ls 从未完成，我不得不终止它。kill -9 没有用。我不得不终止父 bash 进程。
我卸载了 xfs_repair（耗时 25 小时），然后再次安装。
4.5 GB iso 文件的第一个 cp 非常慢。在基于不同 raid 卷的 xfs 上花费了 826 秒，而不是预期的 ~8 秒。
奇怪的是，对同一文件进行第二次 cp 测试在预期的 ~8 秒内完成。我想知道我是否遇到了以下错误： https://groups.google.com/forum/#!topic/linux.kernel/kG1gtLc7R8Q
我还没有读完那篇长帖，不知道该如何解决。但是，现在 xfs 的“agcount 太大”是怎么回事？
# xfs_info /dev/datavg02/datalv02
meta-data=/dev/mapper/datavg02-datalv02 isize=512 agcount=5295839, agsize=6336 blks
= sectsz=4096 attr=2, projid32bit=1
= crc=1 finobt=0 spinodes=0
data = bsize=4096 blocks=33554432000, imaxpct=25
= sunit=64 swidth=64 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal bsize=4096 blocks=1605, version=2
= sectsz=4096 sunit=1 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
至于统计数据...下面是第一个 cp 期间 iotop 和 iostat 的几张快照，花费了预期时间的 100 倍：
# date; time -p cp CentOS-6-x86_64-DVD-1708.iso CentOS-7-x86_64-DVD-1708.iso.after_xfs_repair ; echo $? ; date
Sat Apr 14 23:00:55 PDT 2018
real 826.37
user 0.04
sys 5.96
1
Sat Apr 14 23:14:41 PDT 2018
Total DISK READ : 650.00 K/s | Total DISK WRITE : 1040.00 K/s
Actual DISK READ: 650.00 K/s | Actual DISK WRITE: 0.00 B/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
222036 be/4 root 0.00 B/s 3.82 K/s 0.00 % 0.00 % tee iotop.out
937 be/4 root 0.00 B/s 3.82 K/s 0.00 % 0.00 % rsyslogd -n [rs:main Q:Reg]
380133 be/4 root 650.00 K/s 0.00 B/s 0.00 % 0.00 % [kworker/u896:0]
1489 be/4 ganglia 0.00 B/s 1032.35 K/s 0.00 % 0.00 % gmetad -d 1
2048 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % X :0 -background none -noreset -audit 4 -verbose~tabase -seat seat0 -nolisten tcp vt1 [llvmpipe-6]
1 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % systemd --switched-root --system --deserialize 21
2 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kthreadd]
3 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/0]
2052 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % X :0 -background none -noreset -audit 4 -verbose~abase -seat seat0 -nolisten tcp vt1 [llvmpipe-10]
5 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/0:0H]
2054 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % X :0 -background none -noreset -audit 4 -verbose~abase -seat seat0 -nolisten tcp vt1 [llvmpipe-12]
7 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/0]
8 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcu_bh]
9 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcu_sched]
10 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/0]
11 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/1]
12 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/1]
13 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/1]
15 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/1:0H]
16 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/2]
17 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/2]
Total DISK READ : 567.90 K/s | Total DISK WRITE : 1008.77 K/s
Actual DISK READ: 567.90 K/s | Actual DISK WRITE: 1374.92 K/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
380133 be/4 root 567.90 K/s 0.00 B/s 0.00 % 0.00 % [kworker/u896:0]
1489 be/4 ganglia 0.00 B/s 1008.77 K/s 0.00 % 0.00 % gmetad -d 1
2048 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % X :0 -background none -noreset -audit 4 -verbose~tabase -seat seat0 -nolisten tcp vt1 [llvmpipe-6]
1 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % systemd --switched-root --system --deserialize 21
2 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kthreadd]
3 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/0]
2052 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % X :0 -background none -noreset -audit 4 -verbose~abase -seat seat0 -nolisten tcp vt1 [llvmpipe-10]
5 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/0:0H]
2054 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % X :0 -background none -noreset -audit 4 -verbose~abase -seat seat0 -nolisten tcp vt1 [llvmpipe-12]
7 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/0]
8 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcu_bh]
9 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcu_sched]
10 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/0]
11 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/1]
12 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/1]
13 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/1]
15 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/1:0H]
16 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/2]
17 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/2]
18 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/2]
2051 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % X :0 -background none -noreset -audit 4 -verbose~tabase -seat seat0 -nolisten tcp vt1 [llvmpipe-9]
20 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/2:0H]
21 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/3]
22 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/3]
23 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/3]
25 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/3:0H]
26 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/4]
27 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/4]
28 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/4]
30 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/4:0H]
31 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/5]
32 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/5]
33 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/5]
35 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/5:0H]
36 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/6]
37 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/6]
38 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/6]
40 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/6:0H]
41 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/7]
42 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/7]
43 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/7]
45 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/7:0H]
46 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/8]
47 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/8]
48 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/8]
2056 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % X :0 -background none -noreset -audit 4 -verbose~abase -seat seat0 -nolisten tcp vt1 [llvmpipe-14]
50 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/8:0H]
avg-cpu: %user %nice %system %iowait %steal %idle
0.28 0.00 0.28 0.01 0.00 99.44
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 261.80 1.60 1130.40 8 5652
sdb 21.80 3072.00 0.00 15360 0
sdc 155.60 622.40 0.00 3112 0
dm-0 262.20 1.60 1130.40 8 5652
dm-1 0.00 0.00 0.00 0 0
dm-2 21.80 3072.00 0.00 15360 0
dm-3 0.00 0.00 0.00 0 0
dm-4 155.60 622.40 0.00 3112 0
dm-5 0.00 0.00 0.00 0 0
dm-6 0.00 0.00 0.00 0 0
avg-cpu: %user %nice %system %iowait %steal %idle
0.50 0.00 0.30 0.00 0.00 99.20
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 45.60 0.00 185.60 0 928
sdb 0.00 0.00 0.00 0 0
sdc 161.80 647.20 0.00 3236 0
dm-0 45.60 0.00 185.60 0 928
dm-1 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 0.00 0.00 0.00 0 0
dm-4 162.00 648.00 0.00 3240 0
dm-5 0.00 0.00 0.00 0 0
dm-6 0.00 0.00 0.00 0 0
# dmesg | grep -v IPTable ; uptime
[614878.648714] XFS (dm-4): Mounting V5 Filesystem
[614878.800398] XFS (dm-4): Ending clean mount
23:04:43 up 7 days, 2:53, 4 users, load average: 2.04, 1.25, 0.71
答案1
FS 及其 LV“主机”首先在~10GB 处创建，然后是 lvextend -L+500G/xfs_growfs，然后再次是 lvextend -L 125T/xfs_growfs。
这可能是您的问题。文件系统增长通常不超过 10 倍（一个数量级）；与正确大小的文件系统相比，任何更大的增长都会严重损害文件系统的性能。
在您的案例中，您将它从 10 GB 扩展到 100 TB 以上，增加了 10000 倍（4 个数量级）。因此，我强烈建议您使用正确的大小重新格式化文件系统。这显然意味着备份和恢复您在其上加载的所有内容。
iostat -x -k 1无论如何，你确定没有磁盘有问题吗？你能发布阻塞期间的输出吗ls？