磁盘写入操作期间 CPU 使用率异常

磁盘写入操作期间 CPU 使用率异常

我有一台不错的 CentOS 6.5 专用主机(CentOS 6.5/E3-1230 3.2Ghz 四核 + HT/16GB/软件 Raid 1 SATA II/WD2503ABYX使用默认的 CentOS 内核和 grub 中的“elevator=deadline”安装 /ext4。

I/O 写入操作导致 CPU 使用率大幅上升。读取操作运行正常。例如,

dd if=/dev/zero of=test bs=1048576 count=2048

导致主机的 CPU 利用率飙升至 3 或 4 以上。在正常运行下,它保持在 0.40 以下,但是当有一些更密集的 I/O 操作时,一切都会停止。

mpstat 1在这些dd测试中显示等待为20-25%。

磁盘布局如下:

Disk /dev/sda: 251.1 GB, 251059544064 bytes
255 heads, 63 sectors/track, 30522 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000c6673

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          26      204800   fd  Linux raid autodetect
Partition 1 does not end on cylinder boundary.
/dev/sda2              26         548     4194304   fd  Linux raid autodetect
Partition 2 does not end on cylinder boundary.
/dev/sda3             548       30523   240775168   fd  Linux raid autodetect

Disk /dev/sdb: 251.1 GB, 251059544064 bytes
255 heads, 63 sectors/track, 30522 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00095c99

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1          26      204800   fd  Linux raid autodetect
Partition 1 does not end on cylinder boundary.
/dev/sdb2              26         548     4194304   fd  Linux raid autodetect
Partition 2 does not end on cylinder boundary.
/dev/sdb3             548       30523   240775168   fd  Linux raid autodetect

Disk /dev/md2: 246.6 GB, 246552588288 bytes
2 heads, 4 sectors/track, 60193503 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/md1: 4293 MB, 4293910528 bytes
2 heads, 4 sectors/track, 1048318 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_main-LogVol00: 246.5 GB, 246549577728 bytes
255 heads, 63 sectors/track, 29974 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/md0: 209 MB, 209702912 bytes
2 heads, 4 sectors/track, 51197 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

该问题(高 CPU 使用率)开始发生在去年 12 月下旬的某个时候,这让我相信它与软件有关(磁盘子系统已由 DC 的人员检查过)。

我下一步应该运行哪些测试来尝试隔离问题?

附言:我并不是在寻找性能最大化技巧。服务器利用率不足。我只是想减少磁盘写入期间的 CPU 负载。

更新:重新设计问题以更好地描述问题。

更新:找到解决方案当我遇到这个帖子

root> modprobe vhost_net root> echo vhost_net > /etc/modules

由于某种原因,virtio 接口之前没有加载驱动程序。现在一切都好了。

答案1

在 CentOS 上,dirty_ratio设置为 20%。

这意味着写一个文件

dd if=/dev/zero of=test bs=1048576 count=2048

实际上将数据以写回的方式写入内存(最多 3.2GB),并且不是实际将其写入磁盘。

它在虚拟机上的速度较慢(但不是现实的性能基准),因为您可能为虚拟机本身分配了低得多的内存(比如说 2G),这导致在dirty_writeback强制将内容写入磁盘之前仅提供约 400MB 的写回。

如果您运行该命令,然后运行sync,您会注意到同步需要很长时间才能返回。

您需要运行以下命令来更好地了解您的实际吞吐量。

dd if=/dev/zero of=test oflag=sync bs=1048576 count=2048

相关内容