我大约 20 天前使用新的 nvme 设置了服务器,在设置 raid mdadm 之前,两个 Nvme samsung 980 pro 1TB i 测试台的 IO 速度平均为每个 nvme 1.5G/s,但在创建 raid 1 后,IO nvme 仅约为 70mb/s 。我的笔记本电脑上的传统 HDD 速度仍然很快,最高可达 120mb/s。自全新以来,100% 推动健康。
格式 EXT4
结果bench.shhttps://i.stack.imgur.com/FHHFR.png
[root@id1 var]# wget -qO- bench.sh | bash
-------------------- A Bench.sh Script By Teddysun -------------------
Version : v2022-06-01
Usage : wget -qO- bench.sh | bash
----------------------------------------------------------------------
CPU Model : Intel(R) Xeon(R) CPU v4 @ 3.60GHz
CPU Cores : 12 @ 3799.703 MHz
CPU Cache : 15360 KB
AES-NI : Enabled
VM-x/AMD-V : Enabled
Total Disk : 6.2 TB (1.1 TB Used)
Total Mem : 93.9 GB (33.5 GB Used)
Load average : 2.75, 3.67, 4.10
OS : CloudLinux release 8.6 (Leonid Kadenyuk)
Arch : x86_64 (64 Bit)
Kernel : 4.18.0-372.19.1.lve.el8.x86_64
TCP CC : cubic
Virtualization : Dedicated
----------------------------------------------------------------------
I/O Speed(1st run) : 78.0 MB/s
I/O Speed(2nd run) : 78.0 MB/s
I/O Speed(3rd run) : 78.0 MB/s
I/O Speed(average) : 78.0 MB/s
----------------------------------------------------------------------
来自 mdadm 详细信息
[root@node1 ~]# mdadm --detail /dev/md126
/dev/md126:
Version : 1.2
Creation Time : Wed Sep 21 07:23:19 2022
Raid Level : raid1
Array Size : 964901888 (920.20 GiB 988.06 GB)
Used Dev Size : 964901888 (920.20 GiB 988.06 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Intent Bitmap : Internal
Update Time : Sun Oct 2 11:55:36 2022
State : active
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Consistency Policy : bitmap
Name : iclnm.com:root
UUID : aca6bf5e:5d4e7cc0:036c9b46:uyc9h8u
Events : 1332
Number Major Minor RaidDevice State
0 259 4 0 active sync /dev/nvme0n1p3
1 259 7 1 active sync /dev/nvme1n1p3
mdstat 的结果
[root@node1 ~]# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4]
md123 : active raid5 sde2[3] sdd2[1] sdb2[0]
48857088 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
bitmap: 1/1 pages [4KB], 65536KB chunk
md124 : active raid5 sde1[3] sdd1[1] sdb1[0]
1884835840 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
bitmap: 7/8 pages [28KB], 65536KB chunk
md125 : active raid1 nvme0n1p2[0] nvme1n1p2[1]
1953728 blocks super 1.0 [2/2] [UU]
bitmap: 0/1 pages [0KB], 65536KB chunk
md126 : active raid1 nvme1n1p3[1] nvme0n1p3[0]
964901888 blocks super 1.2 [2/2] [UU]
bitmap: 2/8 pages [8KB], 65536KB chunk
md127 : active raid1 nvme1n1p1[1] nvme0n1p1[0]
9763840 blocks super 1.2 [2/2] [UU]
unused devices: <none>
Nvme挂载到/
其他 SSD raid 安装在 /home 上,上面的测试在 / 和 home 分区以外的分区中运行。
这是我第一次在linux上使用soft raid,我不明白mdadm是否无法使用Nvme驱动器或配置中有错误。我一般都是正常的raid1。我希望有人能对 linux mdadm raid 有所启发。我使用的是almalinux 8.6