大文件和快速索引的归档软件

大文件和快速索引的归档软件

我目前正在使用 tar 归档一些文件。问题是:档案非常大,包含很多数据,而且 tar 在列出和提取时非常慢。

我经常需要从档案中提取单个文件或文件夹,但我目前没有文件的外部索引。

那么,Linux 有没有其他替代方案,允许我构建未压缩的存档文件,保留文件属性并具有快速访问列表?

我说的是 10 到 100 GB 的档案,等待几分钟才能访问单个文件是不切实际的。

无论如何,任何解决这个问题的技巧都是受欢迎的(但单个档案是非可选的,所以没有 rsync 或类似的东西)。

提前致谢!

编辑:我没有压缩档案,并且使用 tar我认为他们太慢了。准确地说“慢”,我希望:

  • 列出档案内容所花费的时间应该与档案内的文件数量呈线性关系,但常数很少(例如,如果所有文件的列表都包含在档案的头部,则速度可能非常快)。
  • 目标文件/目录的提取(文件系统预先发出)应该花费与目标大小线性的时间(例如,如果我在 40GB 的目录中提取 2MB 的 PDF 文件,我真的希望它花费的时间少于几分钟......如果不是几秒钟的话)。

当然,这是只是我的想法这不是必需的。我猜如果档案包含所有文件及其相应偏移量的索引,并且该索引组织良好(例如树结构),那么这样的性能是可以实现的。

答案1

查看像素, 或者p7zip使用该-ms=off选项。

像素速度更快,可以很好地处理 tar 文件,保留权限,并且具有更好的 Linux CLI。

7zip具有更好的跨平台支持。

这里了解更多详情。

答案2

我在 serverfault 上发现了类似的主题。

https://serverfault.com/questions/59795/is-there-a-smarter-tar-or-cpio-out-there-for-efficiently-retrieving-a-file-store

我正在查看 DAR,它似乎就是我所需要的,但我会将这个问题留给其他建议。

答案3

如果tar不是要求,快速搜索ar将允许索引档案。

相关内容