归档包含大量小文件和大文件的大文件夹

归档包含大量小文件和大文件的大文件夹

我需要将文件夹归档normal drivetape组织数据存储中,并可能在稍后阶段检索它们。我的场景是

  • 大小从 10 GB 到 300 GB 的大文件夹
  • 该文件夹包含多达五十万个小文件(小于 100 KB)、数千个中等文件(10-100 MB)和几个大文件(最大 5 GB)
  • 大多数文件都经过压缩,并且磁带中没有存储限制,因此我不需要进一步压缩。
  • 不需要加密
  • 集群中的操作系统是Linux(ubuntu)。带宽对我来说传输文件应该是一个问题。

在我看来,将所有文件存档到一个文件中是最好的选择。

我的问题是

  • 哪种格式是最佳选择(zip 还是 tar)。
  • 可以使用任何针对特定文件的选项来加快归档速度。

相关内容