将大量图像(30GB)从缓慢、旧的 Linux 机器传输到虚拟服务器?

将大量图像(30GB)从缓慢、旧的 Linux 机器传输到虚拟服务器?

我需要从一台非常老旧的 Linux 机器将 200,000 张图片传输到 Windows EC2 实例。我对 Linux 没什么经验,所以我没有尝试直接使用 FTP,因为我认为我们没有合适的软件,如果可以快速轻松地下载,我愿意接受解决方案,但这个东西真的很慢而且很烦人,尤其是对于 Linux 外国人来说。我曾尝试将图片传输到 USB 驱动器以从另一台 PC 上传,但它在大约 1GB 后就冻结并停止了。您认为实现此目标的最有效方法是什么?

答案1

无论你使用什么实际的复制/传输方法,你都应该先将它们打包成一个存档。这将确保两件事发生:你想要传输的新文件是可用的(与许多可能无法读取的文件相比),并且传输本身会更加顺利。小文件对于任何类型的复制或传输来说都是很麻烦的。一旦你有一个大的存档文件,你就可以使用任何有效的方法,包括上面提到的 scp。

答案2

这里没有正确的答案——大多数情况下,文件传输不会使用带宽以外的大量资源,因此机器的速度可能不是什么大问题。

答案取决于您使用的是哪种 Linux 版本,以及您如何在客户端和服务器之间建立连接。最明显的解决方案是 - 如果您使用的是 ssh,则使用 rsync - 大多数发行版都附带 Rsync,或者可以通过“apt-get install rsync”或“yum install rsync”之类的命令轻松添加。使用 rsync 的好处是,如果下载中途失败,您只需运行命令,它就会从中断的地方继续。

如果 Rsync 不是一个选项,下一个合理的解决方案是使用 scp - 要使用 scp,您可以使用“scp -r serverip:/path /destpath”。只要服务器有 ssh,这就可以工作。

如果不起作用,请尝试使用 wget 或 ncftp 通过 FTP 下载。不过 FTP 不是一个很好的协议。

答案3

重新阅读问题,发现解决方案与我最初建议的不同。我们需要跨平台、可靠地处理文件传输并且非常简单的东西。

bittorrent 同步应该可以工作。Linux 客户端是一个简单的单一二进制文件,具有自己的 WebUI。在那里设置共享,然后使用另一端的 Windows 客户端下载目录。

由于底层协议是 bitorrent,它应该可以处理任何问题,并相当优雅地检查错误,并且除了创建共享之外几乎不需要任何配置。

相关内容