☰

使用 fio 或者其他工具模拟一些进程 IO

tag-icon • tag-icon linux performance hard-drive io fio
使用 fio 或者其他工具模拟一些进程 IO

有没有办法跟踪特定过程并获取磁盘 IO 统计信息，例如队列深度、总读/写线程、读/写百分比等等？

主要目标是使用所有这些信息通过 fio 工具模拟 IO 活动。
或者也许有任何其他方法（工具）来估计哪种硬件更适合特定负载？

当然，测试是最好的选择，但对我来说并非完全可用，我无法购买所有可能的硬件。
所以我必须与我在购买前已经做出一些假设的硬件进行比较。

答案1

您可以使用它pidstat -d来获取每个进程的 IO 统计数据。-p如果您想获取特定进程的统计数据，请使用它 - 例如每秒获取 Java 进程的磁盘统计数据：

pidstat 1 -d -p $(pgrep java)

用于iostat -x扩展磁盘统计信息，如“平均队列大小”等。

iostat -xmdz 1
...
Device            r/s     rMB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wMB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dMB/s   drqm/s  %drqm d_await dareq-sz  aqu-sz  %util
sda              0.00      0.00     0.00   0.00    0.00     0.00    2.00      0.01     1.00  33.33    0.50     6.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.40

也可以看看https://medium.com/netflix-techblog/linux-performance-analysis-in-60-000-milliseconds-accc10403c55

请注意，除非你正在执行“原始磁盘 IO”，否则文件系统操作系统层可能会对应用程序的性能产生巨大影响 - 例如页面缓存Linux 中的文件系统将文件的最近内容缓存在内存中，因此读取速度可能比单独使用磁盘的速度要快得多。要监视文件系统操作，您可以使用 BPF 工具，例如vfsstat，，，等。您还可以测量原始磁盘 IO 速度和“缓存 IO”速度 -biolatency例如ext4slowerext4disthdparm

root@ubuntu-18:~# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   11568 MB in  1.99 seconds = 5807.23 MB/sec
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 Timing buffered disk reads: 1682 MB in  3.00 seconds = 560.58 MB/sec

请注意，“缓存读取”的吞吐量比“缓冲磁盘读取”大得多，几乎达到 6GB/秒。如果您使用中等规模的云/AWS 实例，差异可能会更大。

相关内容