☰

（fio 测试）磁盘使用任何服务时都非常慢，但如果直接写入磁盘则正常

tag-icon • tag-icon server disk lts nfs ceph
（fio 测试）磁盘使用任何服务时都非常慢，但如果直接写入磁盘则正常

操作系统详细信息：

PRETTY_NAME="Ubuntu 22.04.2 LTS"
NAME="Ubuntu"
VERSION_ID="22.04"
VERSION="22.04.2 LTS (Jammy Jellyfish)"
VERSION_CODENAME=jammy
ID=ubuntu
ID_LIKE=debian
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
UBUNTU_CODENAME=jammy

我有一个基于 ubuntu LTS 的 ceph 集群，使用 rbd 作为 proxmox 存储，但是 vm 磁盘速度（无论读取还是写入）仅低于 10MB/s，有时为 KB/s，这是背景。

因此我做了一个测试环境来找出为什么这么慢，10GB 交换机，10GB 网卡，2 个节点，一个用于 ceph（ubuntu 22.04，名称 ceph 节点），一个用于 ubuntu 22.04（名称客户端节点）ceph 节点中有 6 个磁盘（3 个 ssd，3 个 hdd），问题是我测试了 ssd 和 hdd，速度几乎相同，因此我尝试在 ceph 节点中执行所有操作，这样我就可以跳过网络测试程序：

  1. ceph 节点映射（127.0.0.1）rbd 来自 ceph 节点（127.0.0.1）

    sudo rbd map speedtest/aaa --id admin --keyring /etc/ceph/ceph.client.admin.keyring --mon-host 127.0.0.1

  2. fio 测试，写入速度为 2226KiB/s

    direct=1
    rw=write
    filename=/dev/rbd0

    [job]
    name=test
    bs=4k
    iodepth=16
    size=200G
    runtime=60
    numjobs=1
    time_based
    rwmixread=70
  1. 然后我删除所有 osd，直接测试磁盘 /dev/sdg，写入速度为 203MB/s
    [global]
    direct=1
    rw=write
    filename=/dev/sdg

    [job]
    name=test
    bs=4k
    iodepth=16
    size=200G
    runtime=60
    numjobs=1
    time_based
    rwmixread=70

  1. 我猜想如果 ceph 配置有问题怎么办，所以我为 localhost 创建了一个 nfs 服务器，写入速度仍然很慢，1028kB/s

    我的/etc/exportfs：

        /media/speedtest *(rw,sync,all_squash,anonuid=0)

    命令：

         sudo mount.nfs localhost:/media/speedtest /mnt/

    挂载磁盘：

         /dev/sdd1 on /media type ext4 (rw,relatime)

    fio 配置同上

  2. 我测试了目录 /media，写入速度为 199MB/s

在此处输入图片描述 在此处输入图片描述

我快要疯了，这是怎么发生的？谁能帮帮我，如果你需要其他信息，告诉我，如果你需要的话，我会告诉你一切。帮帮我吧。

相关内容