我正在处理一堆非常大的文件（> 100 GB）。由于我们经常并行处理多个大文件（例如 10-12 个），我们认为将每个文件存储在单独的物理旋转驱动器上可能更有利，而不是将数据分散到多个物理驱动器上（例如使用 raid），否则软件在并行处理所有这些文件时将被迫执行一堆随机寻道操作。
Oracle Sun QFS 文件系统似乎允许将多个硬盘驱动器合并为一个卷，同时使用循环分配方法将每个文件存储在单独的物理驱动器上（https://docs.oracle.com/cd/E22586_01/html/E22571/gkwrn.html）。因此，这将满足我们的需求。我想知道是否有适用于 Ubuntu/Debian 等的等效文件系统，可以将每个文件存储在单独的物理驱动器上，同时允许将这些驱动器用作单个卷？
答案1
如果文件位于不同的目录，您可以尝试在顶部创建带有普通 XFS 文件系统的连接卷，并调整 XFS 分配组行为以满足您的需要。
也就是说，我只需使用足够大（512 KB）的块大小对驱动器进行条带化：通过这种方式，您可以使用熟悉的 RAID 方法，同时最大限度地减少寻道损失。
无论如何，一定要使用一些实际工作负载测试所选设置，因为存储性能有时会令人惊讶。