我有一台不错的 CentOS 6.5 专用主机(CentOS 6.5/E3-1230 3.2Ghz 四核 + HT/16GB/软件 Raid 1 SATA II/WD2503ABYX使用默认的 CentOS 内核和 grub 中的“elevator=deadline”安装 /ext4。
I/O 写入操作导致 CPU 使用率大幅上升。读取操作运行正常。例如,
dd if=/dev/zero of=test bs=1048576 count=2048
导致主机的 CPU 利用率飙升至 3 或 4 以上。在正常运行下,它保持在 0.40 以下,但是当有一些更密集的 I/O 操作时,一切都会停止。
mpstat 1
在这些dd
测试中显示等待为20-25%。
磁盘布局如下:
Disk /dev/sda: 251.1 GB, 251059544064 bytes
255 heads, 63 sectors/track, 30522 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000c6673
Device Boot Start End Blocks Id System
/dev/sda1 * 1 26 204800 fd Linux raid autodetect
Partition 1 does not end on cylinder boundary.
/dev/sda2 26 548 4194304 fd Linux raid autodetect
Partition 2 does not end on cylinder boundary.
/dev/sda3 548 30523 240775168 fd Linux raid autodetect
Disk /dev/sdb: 251.1 GB, 251059544064 bytes
255 heads, 63 sectors/track, 30522 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00095c99
Device Boot Start End Blocks Id System
/dev/sdb1 * 1 26 204800 fd Linux raid autodetect
Partition 1 does not end on cylinder boundary.
/dev/sdb2 26 548 4194304 fd Linux raid autodetect
Partition 2 does not end on cylinder boundary.
/dev/sdb3 548 30523 240775168 fd Linux raid autodetect
Disk /dev/md2: 246.6 GB, 246552588288 bytes
2 heads, 4 sectors/track, 60193503 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000
Disk /dev/md1: 4293 MB, 4293910528 bytes
2 heads, 4 sectors/track, 1048318 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000
Disk /dev/mapper/vg_main-LogVol00: 246.5 GB, 246549577728 bytes
255 heads, 63 sectors/track, 29974 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000
Disk /dev/md0: 209 MB, 209702912 bytes
2 heads, 4 sectors/track, 51197 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000
该问题(高 CPU 使用率)开始发生在去年 12 月下旬的某个时候,这让我相信它与软件有关(磁盘子系统已由 DC 的人员检查过)。
我下一步应该运行哪些测试来尝试隔离问题?
附言:我并不是在寻找性能最大化技巧。服务器利用率不足。我只是想减少磁盘写入期间的 CPU 负载。
更新:重新设计问题以更好地描述问题。
更新:找到解决方案当我遇到这个帖子。
root> modprobe vhost_net root> echo vhost_net > /etc/modules
由于某种原因,virtio 接口之前没有加载驱动程序。现在一切都好了。
答案1
在 CentOS 上,dirty_ratio
设置为 20%。
这意味着写一个文件
dd if=/dev/zero of=test bs=1048576 count=2048
实际上将数据以写回的方式写入内存(最多 3.2GB),并且不是实际将其写入磁盘。
它在虚拟机上的速度较慢(但不是现实的性能基准),因为您可能为虚拟机本身分配了低得多的内存(比如说 2G),这导致在dirty_writeback
强制将内容写入磁盘之前仅提供约 400MB 的写回。
如果您运行该命令,然后运行sync
,您会注意到同步需要很长时间才能返回。
您需要运行以下命令来更好地了解您的实际吞吐量。
dd if=/dev/zero of=test oflag=sync bs=1048576 count=2048