处理 20K 文件,每个文件 500M

处理 20K 文件,每个文件 500M

我有 20K 个文件。每个文件大小从 150M 到 500M 不等。我的文件往往会随着时间的推移而增长到 500M。

我的使用场景ETL(全部发生在8分钟内):

  1. 读取文件
  2. 在内存中修改
  3. 写回文件

我的使用率为:每分钟10 ETL。

ETL-提取、转换、加载-在我的例子中是(读取、修改、写入)

我想用 RAID1 模式下的两个 10 TB HDD 来处理所有这些数据。

我使用 Ubuntu 18.04。对于服务器,我将使用消费级硬件,而不是服务器级硬件。

那么,有没有好的 Linux 文件系统可以将我的整个硬盘分成 500M 个部分,以便我可以保存我的文件?我想避免碎片地狱,所以我的想法是专门设置 500M 左右的部分。我可以牺牲空间来换取速度和性能。

有什么建议么?

相关内容