如何使用 cron 或类似程序控制逐步文件上传?

如何使用 cron 或类似程序控制逐步文件上传?

我有几 TB 的数据需要通过慢速链接备份到 S3/Glacier。我想从晚上 9 点到早上 9 点上传,然后从中断的地方继续。有没有可以轻松做到这一点的免费软件?我可以使用 s3cmd/s3sync 进行上传,但是有没有一种简单的方法可以用 cron 来控制它?我可以接受几天的延迟,因为我有静态数据,只是增加了另一层冗余。

最好是启动一个进程并终止它,然后重新启动同步吗?我主要在寻找一个标准系统,但我可能只需要编写一些 shell 脚本。我正在使用 Ubuntu 并希望使用标准 Linux 工具。

答案1

当然,任何 TB 级的上传都需要一些时间,您的“慢速”上行链路有多慢?

通过 10Mbit 上行链路上传 1TB 的数据将花费 1024*1024 = 1048576 秒 = 290 小时 = 12 整天。

我会通过运送 NAS 设备来了解亚马逊的批量上传功能

看一眼http://aws.amazon.com/importexport/

相关内容