我们有少量 Dell T410 和 T710 系统。每个系统都有一个 Dell SAS 6iR 控制器，带有 6 个 SATAII 磁盘、1x160GB OS 和 5x3TB 数据磁盘。我们一直遇到磁盘访问速度问题，每个磁盘单独提供的速度略高于 100MB/s，但在负载下会迅速变慢。我们被告知是磁盘控制器的问题。尝试用 H700 替换其中一个，发现差别不大，速度可能提高了 5%。我们确信这一定是 SAS -> SAS 背板 -> SATAII 磁盘的问题。
但是现在我们正尝试在系统之间设置 ceph 集群，为了加快日志文件的速度，我们购买了带有 Highpoint 620 PCI-e 1X 卡的 OCZ Vertex 4 SDD，因为 SAS 全部与 SAS 背板绑定在一起。这样就没问题了。
但在测试中，我尝试过“dd if=/dev/zero bs=4k count=1024k of=/mnt/test1.img”，其中 SSD 安装了 EXT4 文件系统。我在另一个窗口中打开了“iostat -dmx 1”。我看到写入完成，报告写入磁盘的速度为 390MB/s，但这是磁盘缓存。在 iostat 中，我看到它以与 SATAII 磁盘相同的 100-120MB/秒刷新到磁盘！
尝试从另一个方向进行相同的测试，'echo 3 > /proc/sys/vm/drop_caches; dd if=/mnt/test1.img bs=4k of=/dev/null'，报告为 194MB/s，iostat 中显示为 189MB/sec。
我用 Ubuntu 12.10 和 CentOS Live CD 尝试了同样的操作。我们的 Windows 2008 R2 系统似乎总是很慢。所有 BIOS 和固件都是最新的。尝试了 noop、deadline 和 cfq 调度程序，结果都一样。关闭 BIOS 中的所有内存和 CPU 选项，没有任何变化。尝试启用 IOATDMA，没有任何变化。尝试取出所有网络和 SAS 卡，只留下 SATAIII 卡和 SSD，没有任何变化。SATAIII 卡被正确识别，并将 SSD 识别为 6G 速度。
SATAIII 卡和 SSD 在其他台式机系统中可获得 400MB/s+。
有什么想法下一步该尝试什么吗？
我们无法承受更换并重新开始的后果。它表现得好像有某种资源限制了 I/O 资源或时间的数量，因此无法达到全速。有限的 Dell BIOS 没有太多选项可以做到这一点，而且卡和 SSD 在其他系统中运行良好，因此它不应该是罪魁祸首。而且 SATAII 磁盘一直很慢，即使它们在其他系统中的表现也更好。
我甚至看到系统上的元磁盘性能缓慢。当我在 CentOS 中尝试使用条带化或镜像的 LVM 时，这一点显而易见，它设置后台以实现 LVM 卷的元磁盘被限制为与它们后面的磁盘相同的速度。当时我认为这可能与实现它的新代码或 RAID 操作的阻塞 IO 方面有关。现在我认为这都是相关的。
答案1
嗯，从我的角度来看，问题可能是 PCI-E 总线故障或控制器总体存在一些问题。在控制器方面，您是否尝试过禁用 SSD 驱动器的写入缓存？戴尔官方建议在使用 SSD 驱动器时禁用写入缓存...
还有一点，如果我没记错的话，如果服务器中没有安装任何电池备份单元 (BBU)，任何戴尔控制器都会禁用写入缓存，你有吗？如果没有，请在 PERC BIOS 中强制写入缓存，并检查性能是否发生变化。请记住，没有电池的写入缓存会在断电事件中导致灾难性的数据丢失！
作为最后的手段，如果是 PCI-E 总线问题，最快和最简单的方法应该是更换控制器插槽。
编辑：忘了提及
您是否已将系统固件升级到最新版本？BIOS、PERC 固件和相关内容？如果没有，请从 support.dell.com 获取最新版本并重试。也许它不会改变任何东西，但旧的戴尔 BIOS 固件有一个错误，它们在后 Nehalem 架构中限制 CPU，请尝试在 BIOS 的 CPU 部分禁用 C 状态，注意它会增加功耗！