我们正在使用 SAN 进行数据存储。我最近使用 EMC PowerPath 软件以及在 CentOS 上运行的 Navisphere Agent 将 SAN 连接到 CentOS 5.3 服务器。但是,我现在已经收到了最终的生产服务器,需要重新设置这一切。让 PowerPath 工作是一个大问题,我正在尝试确定最佳的行动方案是什么。
- 我应该使用 CentOS 上已有的内置 multipathd 吗?
- 如果我这么做可能就不会有什么效果了?
- 设置多路径比设置 PowerPath 更难吗?
笔记
- 服务器需要在启动时将 SAN 安装为 LVM 卷
- 服务器从其自己的内部驱动器启动,仅使用 SAN 上的软件和数据
- CentOS 5.3 已加载并更新
- 该服务器有 2 个网卡连接到 SAN,路径 A 和 B 设置故障转移。我没有设置这个,这是网络团队做的。我只处理操作系统方面的事情
附加信息
消息 |删除 ql
ACPI:INT_SRC_OVR(总线 0 bus_irq 0 global_irq 2 dfl dfl) ACPI:INT_SRC_OVR(总线 0 bus_irq 9 global_irq 9 高电平) PCI:如果设备无法工作,请尝试“pci=routeirq”。如果有帮助,请发布报告 VFS: 磁盘配额 dquot_6.5.1 Dquot-cache 哈希表条目:512(顺序 0,4096 字节) io 调度程序 cfq 注册(默认) serial8250: ttyS0 在 I/O 0x3f8 (irq = 0) 处是 16550A serial8250: ttyS1 在 I/O 0x2f8 (irq = 0) 处是 16550A 00:05:I/O 0x3f8(irq = 4)处的 ttyS0 是 16550A 00:06:I/O 0x2f8(irq = 3)处的 ttyS1 是 16550A 严重:i8042 KBD 端口位于 0x60,0x64 irq 1 严重:i8042 AUX 端口位于 0x60,0x64 irq 12 ehci_hcd 0000:00:1a.7:irq 50,io mem 0xdf0ff800 ehci_hcd 0000:00:1d.7:irq 58,io mem 0xdf0ffc00 uhci_hcd 0000:00:1a.0: irq 66,io 基础 0x0000cc40 uhci_hcd 0000:00:1a.1:irq 74,io 基础 0x0000cc60 uhci_hcd 0000:00:1d.0:irq 58,io 基础 0x0000cc80 uhci_hcd 0000:00:1d.1:irq 82,io 基础 0x0000cca0 ata1: SATA 最大 UDMA/133 cmd 0xcc10 ctl 0xcc08 bmdma 0xcc20 irq 98 ata2: SATA 最大 UDMA/133 cmd 0xcc18 ctl 0xcc0c bmdma 0xcc28 irq 98 qla2xxx 0000:04:00.0:发现 ISP2532,irq 106,iobase 0xffffc2000000e000 qla2xxx 0000:04:00.0:配置 PCI 空间... qla2xxx 0000:04:00.0:配置 NVRAM 参数... qla2xxx 0000:04:00.0:验证已加载的 RISC 代码... qla2xxx 0000:04:00.0:已分配(64 KB)用于 EFT... qla2xxx 0000:04:00.0:已分配(1414 KB)用于固件转储... scsi3 : qla2xxx qla2xxx 0000:04:00.0: qla2xxx 0000:05:00.0:发现 ISP2532,irq 114,iobase 0xffffc20000022000 qla2xxx 0000:05:00.0:配置 PCI 空间... qla2xxx 0000:05:00.0:配置 NVRAM 参数... qla2xxx 0000:05:00.0:验证已加载的 RISC 代码... qla2xxx 0000:05:00.0:已分配(64 KB)用于 EFT... qla2xxx 0000:05:00.0:已分配(1414 KB)用于固件转储... scsi4 : qla2xxx qla2xxx 0000:05:00.0: qla2xxx 0000:04:00.0:发生 LIP 重置(f8f7)。 qla2xxx 0000:04:00.0:发生 LIP(f8f7)。 qla2xxx 0000:04:00.0:发生 LIP 重置(f700)。 qla2xxx 0000:04:00.0:检测到 LOOP UP(4 Gbps)。 qla2xxx 0000:05:00.0:发生 LIP 重置(f8f7)。 qla2xxx 0000:05:00.0:发生 LIP(f8f7)。 qla2xxx 0000:05:00.0:发生 LIP 重置(f700)。 qla2xxx 0000:05:00.0:检测到 LOOP UP(4 Gbps)。 SELinux:已初始化(dev mqueue,类型 mqueue),使用过渡 SID
答案1
迪亚戈,
multipathd 易于使用,但我建议先查看 EMC 的最佳实践指南。它在 iSCSI 或光纤通道上同样有效,并且直接插入 Linux 的设备管理器。
光纤通道上多路径的有用开关:
multipath -ll # to see all multipath'ed devices and their status
multipath # to rescan devices after an RSCN or a LIP reset
简而言之,我已经在光纤通道上的 centos 上成功使用了带有 qla2xxx 驱动程序的 multipathd(尽管是在 3PAR 存储阵列上)。
答案2
我使用的是 Dell EMC 的相同 SAN,可以提供 dmesg |grep ql*,或者您可以在 .html 中运行 emcgrab,我现在需要做的另一件事是您的 SAN 盒是否与 SAN 交换机相连,或者直接连接,为什么我要问带交换机还是不带交换机,因为那么您将有 2 条路径 A 和 B,您需要找出下面一些有用的提示
答案3
迭戈,
我们以前尝试过 powerpath(1-2 年前),将 CentOS 4.x 通过 FC 连接到 EMC clarrion。
在我看来,设置本机多路径更容易,但实际上难度差别并没有太大。
请注意,这是一个旧版本,但我们看到的区别是 powerpath 削弱了我们的磁盘 IO。
EMC 支持人员反复强调我们的设置很好,但吞吐量很差。奇怪的是,当我们卸载 powerpath 时,本地磁盘 IO(我们一直在测试以进行比较)也得到了显著改善。
我很想知道它是否仍然存在同样的问题。
我们决定采用本机多路径:这并不奇怪。上个月我们连接了一台新的 EMC 时,我们选择继续使用本机多路径。服务器和 EMC 仍在测试中,但到目前为止没有问题。
Sill,我很想听听你使用和不使用 powerpath 的体验。
--凯尔
答案4
cd /opt/Navisphere/bin/
运行以下命令:
欢迎使用 Navisphere Server Utility - 版本:6.28.20.1.40
从以下选项中选择一个:或选择“0”退出应用程序。
更新服务器信息 - 选择此选项可将有关服务器的信息发送到所有连接的存储系统。
快照任务(仅限 Navisphere Express)- 选择此选项可在源服务器或辅助服务器上执行快照任务。
生成高可用性报告。
显示应用程序的帮助。
1 1
正在扫描...
连接存储系统:
HBA/NIC 端口 存储系统 SP 端口 SP IP 地址
0 FCNPR063600473 B 0 10.5.1.82
0 FCNPR063600473 B 1 10.5.1.82
外部存储系统上的虚拟磁盘:
设备名称 文件系统 虚拟磁盘 SP IP 地址 SP
sdf BCINICSMS001_1 10.5.1.82 B
sdk BCINICSMS001_1 10.5.1.82 B sdb BCINICSMS001_2
10.5.1.82 B sdg BCINICSMS001_2 10.5.1.82 B
sdj
BCINICSQL001 10.5.1.82 B
sde /VM/sql01 BCINICSQL001 10.5.1.82 B
sdc SMS1_XEN 10.5.1.82 B sdh
SMS1_XEN 10.5.1.82 B
sdd SMS2_XEN 10.5.1.82 B
sdi SMS2_XEN 10.5.1.82 B
请核实以上信息。如果正确,您可以更新带有附加存储系统的服务器。如果信息不正确,您可以再次扫描然后更新。
请选择[u]更新、[s]保存、[c]取消:
如果你已经按照正确的方式进行了分区,那么你应该在重启服务器后得到