我们使用以下方法在性能计数器上创建了 IOP 监控报告磁盘读取次数/秒和磁盘写入/秒在四台服务器(物理机箱,无虚拟化)上,每台服务器有 4x 15k 146GB SAS 硬盘(RAID10),设置为每 1 秒检查并记录数据,并在停止报告之前记录 24 小时。
以下是我们得到的结果:
服务器 1 最大磁盘读取/秒:4249.437 最大磁盘写入/秒:4178.946
服务器 2 最大磁盘读取/秒:2550.140 最大磁盘写入/秒:5177.821
服务器 3 最大磁盘读取/秒:1903.300 最大磁盘写入/秒:5299.036
服务器4 最大磁盘读取/秒:8453.572 最大磁盘写入/秒:11584.653
每秒的平均磁盘读写速度通常较低。IE对于一个特定的服务器,平均每秒写入次数为 33 次,但实时监控时,它通常会飙升至几百次,有时甚至几千次。
有人能向我解释一下为什么这些数字明显高于假设每个驱动器可以执行 180 IOP 的理论计算吗?
其他详细信息(RAID 卡):HP Smart Array P410i,总缓存大小为 1GB,写入缓存已禁用,阵列加速器缓存比率为 25% 读取和 75% 写入
答案1
每个驱动器可以做180随机的IOPS。您的工作负载完全是随机的吗?我敢打赌您看到的是顺序读取/写入。
答案2
我认为这是缓存。您说写入缓存已禁用,但我看到了“阵列加速器缓存”,我对此并不熟悉 - 但内存缓存可以解释高吞吐量的爆发。
答案3
如果你使用现实的活动模式进行基准测试,并且应用如果性能可以接受,并且符合硬件规格,那么您的状况就很好。但是,了解您的读/写模式和存储系统的功能也很重要。
您正在使用 HP Smart Array 控制器,因此影响其表现的因素有很多。
1) 您有写入缓存,它只是每个驱动器上的物理磁盘缓存。可能是 8-32 兆字节。您的设置中可能已禁用此功能。
2). 实际控制器上还有电池支持的写入缓存 (BBWC) 或闪存支持的写入缓存 (FBWC)。这可以是 512MB 或 1GB,受非易失性缓存机制。这似乎已启用。
3)您在问题中描述的缓存比率是上述内容中用于读取和写入的百分比。它由“阵列加速器”术语表示。
通过启用阵列加速器,您将在写入磁盘之前将低延迟写入提交到缓存。基本上,您的应用程序可以说“是的,我写了”,因为存储系统说“它已写入”,并且可以合并写入并将其按顺序批量提交到旋转磁盘。
根据您当前的设置,您有 384MB 或 768MB 的写入缓冲区,因此这可以解释测试期间的高 IOPS 数字。您还有少量可用的读取缓存。如果您的工作数据集足够小,那么您可以完全在缓存中工作,这比磁盘快得多。
这是 ProLiant DL380 G7 上 Smart Array P410 配置的输出。如您所见,基本设置涉及很多内容,并且进行了一些优化。我认为您可能只禁用了一项小项目,而其余项目则保持不变。
Smart Array P410i in Slot 0 (Embedded)
Bus Interface: PCI
Slot: 0
Serial Number: 500143801664FE50
Cache Serial Number: PBCDF0CRHZV1JS
RAID 6 (ADG) Status: Disabled
Controller Status: OK
Hardware Revision: C
Firmware Version: 5.14
Rebuild Priority: Medium
Expand Priority: Medium
Surface Scan Delay: 15 secs
Surface Scan Mode: Idle
Queue Depth: Automatic
Monitor and Performance Delay: 60 min
Elevator Sort: Enabled
Degraded Performance Optimization: Disabled
Inconsistency Repair Policy: Disabled
Wait for Cache Room: Disabled
Surface Analysis Inconsistency Notification: Disabled
Post Prompt Timeout: 0 secs
Cache Board Present: True
Cache Status: OK
Cache Ratio: 25% Read / 75% Write
Drive Write Cache: Enabled
Total Cache Size: 1024 MB
Total Cache Memory Available: 912 MB
No-Battery Write Cache: Enabled
Cache Backup Power Source: Capacitors
Battery/Capacitor Count: 1
Battery/Capacitor Status: OK
SATA NCQ Supported: True