如何验证从云中复制的 TB 数据

如何验证从云中复制的 TB 数据

第一篇帖子,希望它能帮助其他人在线存储大量数据。

我使用云服务 Bitcasa(不推荐)来提供我的媒体库和个人备份。他们最近彻底改变了他们的商业模式,并提前三周通知,将一年订阅费中的一部分价格提高 12 倍,这些价格适用于像我这样的测试客户,他们在他们迭代产品期间已经作为付费客户帮助了我好几年。所有这些都表明我建议远离他们。我受够了,在违约后永远不会再相信他们,所以我急着尝试下载和验证超过 7TB 的数据。

我已经从 Bitcasa 下载了 7TB 的数据,但似乎有些数据已损坏。目前尚不清楚原始数据是在原始传输过程中、还是在数据库服务器中被泄露,或者在下载过程中出现错误。法院下令将客户下载数据的截止日期延长至 11 月 20 日,但距离 Bitcasa 服务变更之前必须下载数据的时间不多了。大多数数据都已下载,但我对传输没有信心。

简而言之,在 Mac Yosemite 环境中,有什么最快速、最可靠的方法来验证 TB 级的在线数据与我的 DLed 副本?我的 ISP 最多只有 100/10 的传输速率。我不怕命令行。文件数量可能达到数十万,大小不一,媒体大小从 .txt 到 GB 不等。考虑到时间限制,如果可能的话,验证应该是多线程的。欢迎提出任何建议!

干杯!

答案1

如果命令行是你的朋友那么它rsync可能会帮助你。只需不要删除您已经复制的 7TB。如果可能的话,请备份它。它使用称为增量编码的技术,使其能够仅传输不同的文件或文件的一部分。这样您就可以确信您获得了他们服务器上的内容。

我自己不是 Bitcasa 用户,无法测试整个过程,但他们似乎支持rsync。

您需要使用已有的数据作为目标,以便它能为您工作。使用 rsync 的一般语法是。该--progress选项只是让您了解它是如何工作的。

rsync --progress source_at_bitcasa your_7TB_copy

在对整个数据运行之前,您始终可以使用一些较小的子文件夹进行测试。根据您的设置,您很可能需要添加更多选项。

我知道花点时间回答问题通常是一个好习惯,但网上有很多不错的资源rsync。我不想再浪费你的时间来发布最初的帖子。

相关内容