![使用 fio 或者其他工具模拟一些进程 IO](https://linux22.com/image/766416/%E4%BD%BF%E7%94%A8%20fio%20%E6%88%96%E8%80%85%E5%85%B6%E4%BB%96%E5%B7%A5%E5%85%B7%E6%A8%A1%E6%8B%9F%E4%B8%80%E4%BA%9B%E8%BF%9B%E7%A8%8B%20IO.png)
有没有办法跟踪特定过程并获取磁盘 IO 统计信息,例如队列深度、总读/写线程、读/写百分比等等?
主要目标是使用所有这些信息通过 fio 工具模拟 IO 活动。
或者也许有任何其他方法(工具)来估计哪种硬件更适合特定负载?
当然,测试是最好的选择,但对我来说并非完全可用,我无法购买所有可能的硬件。
所以我必须与我在购买前已经做出一些假设的硬件进行比较。
答案1
您可以使用它pidstat -d
来获取每个进程的 IO 统计数据。-p
如果您想获取特定进程的统计数据,请使用它 - 例如每秒获取 Java 进程的磁盘统计数据:
pidstat 1 -d -p $(pgrep java)
用于iostat -x
扩展磁盘统计信息,如“平均队列大小”等。
iostat -xmdz 1
...
Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz d/s dMB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
sda 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.01 1.00 33.33 0.50 6.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.40
也可以看看https://medium.com/netflix-techblog/linux-performance-analysis-in-60-000-milliseconds-accc10403c55
请注意,除非你正在执行“原始磁盘 IO”,否则文件系统操作系统层可能会对应用程序的性能产生巨大影响 - 例如页面缓存Linux 中的文件系统将文件的最近内容缓存在内存中,因此读取速度可能比单独使用磁盘的速度要快得多。要监视文件系统操作,您可以使用 BPF 工具,例如vfsstat
,,,等。您还可以测量原始磁盘 IO 速度和“缓存 IO”速度 -biolatency
例如ext4slower
ext4dist
hdparm
root@ubuntu-18:~# hdparm -tT /dev/sda
/dev/sda:
Timing cached reads: 11568 MB in 1.99 seconds = 5807.23 MB/sec
SG_IO: bad/missing sense data, sb[]: 70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
Timing buffered disk reads: 1682 MB in 3.00 seconds = 560.58 MB/sec
请注意,“缓存读取”的吞吐量比“缓冲磁盘读取”大得多,几乎达到 6GB/秒。如果您使用中等规模的云/AWS 实例,差异可能会更大。