☰

Ceph 是否太慢以及如何优化？

tag-icon • tag-icon performance proxmox ceph
Ceph 是否太慢以及如何优化？

该设置包括 3 个集群 Proxmox 用于计算，3 个集群 Ceph 存储节点，

ceph01 8*150GB ssds (1用于操作系统，7用于存储)
ceph02 8*150GB ssds (1用于操作系统，7用于存储)
ceph03 8*250GB ssds (1用于操作系统，7用于存储)

当我使用 ceph 存储在 proxmox 节点上创建虚拟机时，速度低于预期（网络带宽不是瓶颈）

写入 Ceph 中的 VM 硬盘

[root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 46.7814 s, 23.0 MB/s

[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 15.5484 s, 69.1 MB/s

写入位于 proxmox 中的硬盘的虚拟机
为了进行比较，下面是在 proxmox 上的虚拟机上，ssd 模式相同，

[root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 10.301 s, 104 MB/s

[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 7.22211 s, 149 MB/s

我有以下 ceph 池

size/min = 3/2
pg_num = 2048
ruleset = 0

在同一主机上运行 3 个监视器，日志存储在各自的 OSD 上，使用 Ceph Hammer 运行最新的 proxmox

关于我们应该从哪些方面进行改进，您有什么建议吗？是 Ceph 池吗？是日志吗？日志与 OS (/dev/sda) 或 OSD (/dev/sdX) 位于同一驱动器中是否重要？

答案1

您可以通过将 MTU 设置为 9000 并将 I/O 调度程序更改为 noop 来增加磁盘吞吐量（MB/s）。

答案2

我也使用 CEPH Hammer 运行集群。如果您以 Filestore 格式运行 OSD，则必须使用 NVMe 进行日志记录，即使您使用 SSD 作为 OSD。

相关内容