☰

MDADM Nvme raid 比传统 HDD 慢，需要启发

tag-icon • tag-icon linux centos performance software-raid mdadm
MDADM Nvme raid 比传统 HDD 慢，需要启发

大约 20 天前，我使用新的 nvme 设置了服务器，在设置 raid mdadm 之前，我测试的两个 Nvme 三星 980 pro 1TB 的平均 IO 速度为每 nvme 1.5G/s，但在创建 raid 1 之后，IO nvme 仅为 70mb/s。而我的笔记本电脑上的传统 HDD 仍然很快，最高可达 120mb/s。自新驱动器以来，驱动器健康状况为 100%。

格式 EXT4

结果 bench.shhttps://i.stack.imgur.com/HDNlY.png

[root@id1 var]# wget -qO- bench.sh | bash
-------------------- A Bench.sh Script By Teddysun -------------------
 Version            : v2022-06-01
 Usage              : wget -qO- bench.sh | bash
----------------------------------------------------------------------
 CPU Model          : Intel(R) Xeon(R) CPU v4 @ 3.60GHz
 CPU Cores          : 12 @ 3799.703 MHz
 CPU Cache          : 15360 KB
 AES-NI             : Enabled
 VM-x/AMD-V         : Enabled
 Total Disk         : 6.2 TB (1.1 TB Used)
 Total Mem          : 93.9 GB (33.5 GB Used)
 Load average       : 2.75, 3.67, 4.10
 OS                 : CloudLinux release 8.6 (Leonid Kadenyuk)
 Arch               : x86_64 (64 Bit)
 Kernel             : 4.18.0-372.19.1.lve.el8.x86_64
 TCP CC             : cubic
 Virtualization     : Dedicated

----------------------------------------------------------------------
 I/O Speed(1st run) : 78.0 MB/s
 I/O Speed(2nd run) : 78.0 MB/s
 I/O Speed(3rd run) : 78.0 MB/s
 I/O Speed(average) : 78.0 MB/s
----------------------------------------------------------------------

来自 mdadm 详细信息

[root@node1 ~]# mdadm --detail /dev/md126
/dev/md126:
           Version : 1.2
     Creation Time : Wed Sep 21 07:23:19 2022
        Raid Level : raid1
        Array Size : 964901888 (920.20 GiB 988.06 GB)
     Used Dev Size : 964901888 (920.20 GiB 988.06 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Sun Oct  2 11:55:36 2022
             State : active
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : bitmap

              Name : iclnm.com:root
              UUID : aca6bf5e:5d4e7cc0:036c9b46:uyc9h8u
            Events : 1332

    Number   Major   Minor   RaidDevice State
       0     259        4        0      active sync   /dev/nvme0n1p3
       1     259        7        1      active sync   /dev/nvme1n1p3

mdstat 的结果

[root@node1 ~]# cat /proc/mdstat

Personalities : [raid1] [raid6] [raid5] [raid4]
md123 : active raid5 sde2[3] sdd2[1] sdb2[0]
      48857088 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
      bitmap: 1/1 pages [4KB], 65536KB chunk

md124 : active raid5 sde1[3] sdd1[1] sdb1[0]
      1884835840 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
      bitmap: 7/8 pages [28KB], 65536KB chunk

md125 : active raid1 nvme0n1p2[0] nvme1n1p2[1]
      1953728 blocks super 1.0 [2/2] [UU]
      bitmap: 0/1 pages [0KB], 65536KB chunk

md126 : active raid1 nvme1n1p3[1] nvme0n1p3[0]
      964901888 blocks super 1.2 [2/2] [UU]
      bitmap: 2/8 pages [8KB], 65536KB chunk

md127 : active raid1 nvme1n1p1[1] nvme0n1p1[0]
      9763840 blocks super 1.2 [2/2] [UU]

unused devices: <none>

Nvme 挂载到 /

其他 SSD raid 安装在 /home 上，以上测试在 / 和 home 分区以外的其他分区中运行。

这是我第一次在 Linux 上使用软 raid，我不明白 mdadm 是否无法使用 Nvme 驱动器或配置中存在错误。我一般都制作了普通的 raid1。我希望有人能对 Linux mdadm raid 有所启发。我使用的是 almalinux 8.6

相关内容