我有 20K 个文件。每个文件大小从 150M 到 500M 不等。我的文件往往会随着时间的推移而增长到 500M。
我的使用场景ETL(全部发生在8分钟内):
- 读取文件
- 在内存中修改
- 写回文件
我的使用率为:每分钟10 ETL。
ETL-提取、转换、加载-在我的例子中是(读取、修改、写入)
我想用 RAID1 模式下的两个 10 TB HDD 来处理所有这些数据。
我使用 Ubuntu 18.04。对于服务器,我将使用消费级硬件,而不是服务器级硬件。
那么,有没有好的 Linux 文件系统可以将我的整个硬盘分成 500M 个部分,以便我可以保存我的文件?我想避免碎片地狱,所以我的想法是专门设置 500M 左右的部分。我可以牺牲空间来换取速度和性能。
有什么建议么?