RHEL+ 我们可以通过调整内核参数来提高磁盘性能吗?

RHEL+ 我们可以通过调整内核参数来提高磁盘性能吗?

我们有 Hadoop 集群,我们正在收集指标数据,以调查 Spark 应用程序的缓慢行为

经过对 Hadoop 集群的长期调查

我们从 Prometheus 指标中注意到,node_disk_io_now 的值高于正常值,并且它与数据节点机器上的所有 HDFS 磁盘相关

node_disk_io_now 定义是:

node_disk_io_now (字段 9) 唯一应归零的字段。当请求被发送到适当的 struct request_queue 时,该字段会增加,当请求完成时,该字段会减少。

我们想知道,调整内核参数是否可以对磁盘性能产生积极的影响

根据 node_disk_io_now 定义,似乎队列中等待的任务太多,

也许一些内核参数可以帮助改善上述行为,这样队列中的任务就不会长时间存在

答案1

当操作系统或某些应用程序向磁盘询问正确的问题时,就可以发现硬盘用户端可用的所有技巧。

您可以测试您的操作系统和应用程序是否能够识别所谓的保留区域,host protected area该区域可在 Linux 中使用 hdparm 命令创建。

https://en.wikipedia.org/wiki/Host_protected_area

我读到过一个关于

https://www.thomas-krenn.com/de/wiki/SSD_Over-Provisioning_mit_hdparm

操作系统可能会重新配置硬盘以忽略该设置。 /sys/module/libata/parameters/ignore_hpa 根据上面的链接,Linux 本身似乎保留了该信息。“1”表示自动停用。

因此,您需要尝试一下会发生什么,尤其是在服务器重启之后。

相关内容