每个文件的Linux IO监控?

每个文件的Linux IO监控?

我对用于监控磁盘 IO 的实用程序或流程感兴趣每个文件在 CentOS 上。

在 Win2008 上,雷斯蒙实用程序允许这种类型的深入研究,但我发现没有一个 Linux 实用程序可以做到这一点(iostat、iotop、dstat、nmon)。

我对监控数据库服务器上的 IO 瓶颈很感兴趣。使用 MSSQL,我发现它是一种有用的诊断方法,可以了解哪些文件/文件空间受到的打击最严重。

答案1

系统水龙头可能是你最好的选择。

以下是iotime.stp例子如下:

825946 3364 (NetworkManager) access /sys/class/net/eth0/carrier read: 8190 write: 0
825955 3364 (NetworkManager) iotime /sys/class/net/eth0/carrier time: 9
[...]
117061 2460 (pcscd) access /dev/bus/usb/003/001 read: 43 write: 0
117065 2460 (pcscd) iotime /dev/bus/usb/003/001 time: 7
[...]
3973737 2886 (sendmail) access /proc/loadavg read: 4096 write: 0
3973744 2886 (sendmail) iotime /proc/loadavg time: 11

缺点(除了学习曲线之外)是你需要安装内核调试,这在生产系统上可能无法实现。但是,您可以求助于交叉乐器在开发系统上编译模块,然后运行它.ko在生产系统上。

如果你不耐烦,看看第 4 章 有用的 SystemTap 脚本来自初学者指南。

答案2

系统水龙头*脚本:

#!/usr/bin/env stap
#
# Monitor the I/O of a program.
#
# Usage:
#   ./monitor-io.stp name-of-the-program

global program_name = @1

probe begin {
  printf("%5s %1s %6s %7s %s\n",
         "PID", "D", "BYTES", "us", "FILE")
}

probe vfs.read.return, vfs.write.return {
  # skip other programs
  if (execname() != program_name)
    next

  if (devname=="N/A")
    next

  time_delta = gettimeofday_us() - @entry(gettimeofday_us())
  direction = name == "vfs.read" ? "R" : "W"

  # If you want only the filename, use
  // filename = kernel_string($file->f_path->dentry->d_name->name)
  # If you want only the path from the mountpoint, use
  // filename = devname . "," . reverse_path_walk($file->f_path->dentry)
  # If you want the full path, use
  filename = task_dentry_path(task_current(),
                              $file->f_path->dentry,
                              $file->f_path->mnt)

  printf("%5d %1s %6d %7d %s\n",
         pid(), direction, $return, time_delta, filename)
}

输出如下所示:

[root@sl6 ~]# ./monitor-io.stp cat
PID D  BYTES      us FILE
3117 R    224       2 /lib/ld-2.12.so
3117 R    512       3 /lib/libc-2.12.so
3117 R  17989     700 /usr/share/doc/grub-0.97/COPYING
3117 R      0       3 /usr/share/doc/grub-0.97/COPYING

或者如果您选择仅显示挂载点的路径:

[root@f19 ~]# ./monitor-io.stp cat
  PID D  BYTES      us FILE
26207 R    392       4 vda3,usr/lib64/ld-2.17.so
26207 R    832       3 vda3,usr/lib64/libc-2.17.so
26207 R   1758       4 vda3,etc/passwd
26207 R      0       1 vda3,etc/passwd
26208 R    392       3 vda3,usr/lib64/ld-2.17.so
26208 R    832       3 vda3,usr/lib64/libc-2.17.so
26208 R  35147      16 vdb7,ciupicri/doc/grub2-2.00/COPYING
26208 R      0       2 vdb7,ciupicri/doc/grub2-2.00/COPYING

[root@f19 ~]# mount | grep -E '(vda3|vdb7)'
/dev/vda3 on / type ext4 (rw,relatime,seclabel,data=ordered)
/dev/vdb7 on /mnt/mnt1/mnt11/data type xfs (rw,relatime,seclabel,attr2,inode64,noquota)

限制/错误:

  • 映射基于 I/O 没有显示,devname因为"N/A"
  • 文件临时文件不要出现,devname因为"N/A"
  • 读取操作是否来自缓存或写入操作是否到缓冲区并不重要

结果马修·伊夫的节目:

  • 为了测试私人的:

     PID D  BYTES      us FILE
    3140 R    392       5 vda3,usr/lib64/ld-2.17.so
    3140 R    832       5 vda3,usr/lib64/libc-2.17.so
    3140 W     23       9 N/A,3
    3140 W     23       4 N/A,3
    3140 W     17       3 N/A,3
    3140 W     17     118 N/A,3
    3140 W     17     125 N/A,3
    
  • 为了测试共享:

     PID D  BYTES      us FILE
    3168 R    392       3 vda3,usr/lib64/ld-2.17.so
    3168 R    832       3 vda3,usr/lib64/libc-2.17.so
    3168 W     23       7 N/A,3
    3168 W     23       2 N/A,3
    3168 W     17       2 N/A,3
    3168 W     17      98 N/A,3
    
  • 为了迪奥特(直接输入/输出):

     PID D  BYTES      us FILE
    3178 R    392       2 vda3,usr/lib64/ld-2.17.so
    3178 R    832       3 vda3,usr/lib64/libc-2.17.so
    3178 W     16       6 N/A,3
    3178 W 1048576     509 vda3,var/tmp/test_dio.dat
    3178 R 1048576     244 vda3,var/tmp/test_dio.dat
    3178 W     16      25 N/A,3
    

* RHEL 6 或同等版本的快速安装说明:yum install systemtapdebuginfo-install kernel

答案3

您确实想要使用blktrace它。请参阅使用 Seekwatcher 和 blktrace 可视化 Linux IO

我会看看是否可以尽快发布我的一个例子。


编辑:

你没有提到 Linux 的发行版,但也许这是一个很好的例子dtrace 脚本在 Linux 上系统水龙头,如果您使用的是类似 RHEL 的系统。

答案4

我知道的唯一可以监控文件 I/O 活动的工具是inotifywatch。它是软件包的一部分inotify-tools。不幸的是,它只能提供操作计数。

相关内容