如何使用 LFTP 最好地传输 1.8TB 的单个文件?

如何使用 LFTP 最好地传输 1.8TB 的单个文件?

我已经开始使用 Raspberry Pi 将 FTP 服务器上的文件和目录镜像到我的外部硬盘上。

我使用了以下命令:

lftp [email protected]

mirror --use-pget-n=8 /

文件正在下载,但速度似乎相当慢。运行约 10 小时后,只下载了 139GB。每当我在桌面(运行 Linux Mint)上使用 Filezilla 运行下载时,我都会在 4 小时内下载 200GB。

我不知道每个文件应该下载多少个段,所以我选择了 8。但是,我不完全确定将文件分成几段有什么好处。

根据 Speedtest.net 的测试,我的下载速度峰值约为 40Mb/秒,通常在 30Mb/秒左右。

是否有任何参数可以用来提高性能,或者它是否与 Raspberry Pi 的硬件有关?

我会存档所有文件并一次性下载,但我没有任何其他访问服务器的权限。

谢谢。

答案1

从该 FTP 服务器下载文件的最快方法是在服务器上运行 lftp 并通过环回接口下载文件。

您的问题不精确(暂且不论这一点)。


Speedtest 给出的是每秒比特数。40 Mbit/s 是 5 MByte。5 MB/s * 3600 sec * 4 = 72k MB 或大约 70 GB。如果您的速度是 40 MB/s(320 Mbit/s),那么您将在四小时内下载大约 560 GB 的数据。我认为即使是最新的消费级硬盘也无法写入那么快,因此您需要一个 SSD 驱动器。500 GB 或更大的 SSD 驱动器是否可用?

使用所述配置,您会看到 47 MB​​/秒的瓶颈,最可能的原因是(如果不是硬盘本身)外部硬盘的 USB 连接。但是,您没有说明驱动器是通过 USB 连接的。据我所知,RasPi 可以下载到网络驱动器。在这种情况下,您仍然会受到 USB 2 理论 60MB/秒限制的限制,因为 RasPi 上的以太网实际上是一个 USB 适配器。

我的评论尚无定论,但我认为可以合理地得出结论:RasPi 硬件是造成瓶颈的原因。


当您通过不稳定的连接(或 UDP)下载时,文件分段变得更加重要。如果您的网络在传输一个文件时不会频繁中断,那么使用应用程序级分段只会给您带来一些额外的校验和。实际上,您很可能甚至看不到这些。

相关内容