我正在寻找一些关于如何管理 Linux 数据服务器的最佳方法的指导，该服务器有 20 个硬盘，并且总是添加新文件（每天约 30GB）。性能并不重要，可靠性至关重要。我不喜欢 RAID（RAID5 和损坏的磁盘存在很多问题！）。目前，所有驱动器都是单独访问的，但这是一个问题，因为我必须不断移动数据……
我试图了解 LVM/Hadoop/some-other-magic 是否最适合我。
我特别关注硬件故障的情况以及恢复计划，以恢复数据和/或不丢失其他驱动器上的数据（当涉及某种中间件时）。
我精通 Linux，但对（大型）数据管理不太熟悉。
答案1
呃，史蒂夫鲍尔默RAID，RAID，RAID。
RAID 的设计初衷是为您提供可靠性。我不会害怕它，它是一种行业标准。Serverfault 并不是真正开始推荐产品的地方。我会建议看看横向扩展 NAS 文件系统。类似的东西格鲁斯特。
答案2
但是您说得对，RAID 5 通常令人头疼：您应该使用 RAID6，特别是当您有这么多驱动器时。
考虑到您使用的驱动器数量众多，RAID60 会更好。这会将您的磁盘分成 2 个 RAID6 阵列，然后将数据条带化到两个阵列中。这为您提供了速度优势、更好的磁盘故障恢复能力以及更换驱动器时更快的重建速度。
另一个不错的选择是 ZFS，它可在 FreeBSD 上使用（对于 Linux 管理员来说应该不难），也可在 Nexenta 等专门构建的发行版上使用。这里有很多人对它深信不疑，包括我。