将非常大的文件直接 tar 到驱动器

将非常大的文件直接 tar 到驱动器

我正在运行代码以在 Amazon 云上下载一些数据。我运行的实例有 8GB 的​​存储空间,这是我随它一起购买的,还有 140GB 的额外实例存储空间(有点像硬盘插入的存储空间)。现在我将数据下载到这个几乎已满的额外 140GB 存储空间中。

我现在想将这些数据“打包”并放入 Amazon S3(云存储 - 我已经将其安装到我的实例上),以便我可以下载它。现在的问题是,ubuntu 上的 tar(在该实例上设置)在 8GB 存储(即安装 ubuntu 的分区)中创建了一些临时文件,并且由于空间不足(甚至不足以存放 tar 文件),因此在 S3 中创建了一个不完整的 tar。您能给我建议一个解决方法吗?

我尝试将文件复制到 S3,然后将其拆分,以便我可以对小块进行 tar 处理(我有另一个实例,我知道我可以对大约 70GB 进行 tar 处理)。但即使是 cp 也会创建一种临时副本。有什么办法吗?

相关内容