如何使用局域网内的不同计算机分块下载单个文件?

如何使用局域网内的不同计算机分块下载单个文件?

我可以访问一个有大约 20 台计算机的 LAN 网络,我想下载一个大文件,以我目前的下载速度(50 千字节/秒)需要很长时间才能下载完成。因此,我想知道是否有方法或软件可以使用不同的计算机下载同一文件的不同部分,以便更快地完成。任何帮助都非常感谢。

答案1

由于您说限制是每台计算机的,因此您可以从十台计算机以十个块为单位下载文件。

实际上,我会从一台电脑开始下载,然后再添加另一台,再添加另一台……直到我注意到实际下载速度已低于理论最大允许速率 50 Kb/s。这意味着上行链路现在已经饱和,没有理由继续添加客户端(实际上,这会稍微减少传输效率)。

要下载单个文件,您需要一个实用程序,例如curl(curl.haxx.se)

curl -r 0-10000000 -o Block1.bin http://www.site.com/path/to/largefile.zip

这将下载前十兆字节到Block1.bin

如果您已经提前知道最多可以使用 7 个客户端,则将文件长度除以 7,然后下载 7 个大块。这样可以最大程度地利用 TCP 连接。如果您不知道大小,10M 是一个合理的块大小:只需继续监视客户端,并在一个客户端下载完成后立即开始另一个下载。

要重新组装这些块,您可以使用cat。他们说这COPY /B在 Windows 中也同样有效,但我不敢。如果你喜欢冒险,可以尝试

copy /b Block1.bin+Block2.bin+Block3.bin+... mylargefilereconstructed.zip

重要的:不管你怎么说,如果每台 PC 的政策是 50K/s,那就意味着带宽非常宝贵,并且/或者存在带宽占用问题。你现在正在做的事情将重现这些问题因此,您最好先与网络管理员沟通清楚,并商定一个时间范围,以尽量减少对网络的干扰(晚上、午休时间、周末等)。这可能意味着快速下载和一个迅速终止你的工作职位

答案2

理论上你可以这样做,是的。但我真的很想知道为什么。

限制您带宽的因素是什么?ISP 还是网络策略?

如果 ISP 是限制因素,那么无论您使用多少台计算机,您的管道都不会变得更宽。如果限制每台计算机带宽是本地网络策略,那么您可能有正当理由……但这很可能会破坏您公司的可接受使用政策,不要被解雇!

如果你这样做,你仍然需要重新组装文件。我想给你一个更好的解决方案,但我真的不明白其中的逻辑。

您是否控制源文件,或者它是您公开下载的内容。如果您维护源代码,那么像 .rar 这样的多部分存档对您来说非常有益。

答案3

如果你在不同的网络上有不同的计算机(例如一台在家里,一台在你父母家,一台在学校),那么你可以使用 FTP 下载文件的各个部分。(FTP 通常有一个恢复选项,因此你可以告诉它恢复文件的一部分,稍后再恢复将文件重新合并为一个部分。在 Windows 上复制/b将文件合并为一个部分。

如果您可以访问文件的源代码,您可以通过在源代码处拆分文件来改善这一点,从而避免需要进行棘手的操作。大多数类 UNIX 计算机都有一个命令来split(1) 将文件分成不同的部分。在 Windows 上,您可以尝试使用 Rar 或 zip 来创建多个文件。

但是,如果 50KiB/秒的限制是您要从中下载的网站的最大速度,那么它不会加快速度。您最终会这样:

  • 单次下载速度为 50 KiB/秒。
  • 两次下载,每次 25 KiB/秒(总共 50 KiB/秒)。
  • 三次下载,每次速度为 16 KiB/秒(总共 50 KiB/秒)。
  • ....

如果网站将每次上传限制为 50 KiB/秒,但带宽却大得多,那么可能会发生两件事。

  1. 有数百个下载,设置上限是为了给每个人提供公平的访问权限。如果你开始以 50KiB/秒的速度下载多个部分,那么你就是在作弊。如果作弊行为失控,来源将采取措施(例如禁止你的 IP)
  2. 如果限制是由您的工作或 ISP 设定的,那么他们就会对您的行为持悲观态度。您可以期待工作中的 IT 人员走到您的办公桌前,要求解释您在做什么,为什么要这样做。这就是温和的结果。


很多答案都是假设。如果您想要更清晰的答案,请在您的帖子中添加更多信息。目前我们所能做的只是猜测很多事情。

答案4

只需使用 CuteFTP、FileZilla 等常用软件即可。只要 FTP 服务器支持 FTP 恢复,就有多个链接或多个会话等选项。多个链接可以加快下载速度。它有效地将速度乘以会话数。

使用更多计算机是没有用的,因为你们的传出 IP 是相同的,大多数下载站点都设置了每个 IP 地址的会话数限制。

或者,使用 FileZilla 云或 Torrent 选项,实际上它们不是从主要来源下载文件,而是从其他下载文件的人那里下载文件。不过,您有感染木马和病毒的风险。如果您这样做,请小心。

实际上,我的大部分 Windows 和 Unix 软件包都是通过这种方式获取的,因为它们是经过签名的软件包,因此下载后是安全的。检查证书和 MD5 哈希值应该可以防止你安装任何有害的东西,但大约 6-8% 的软件包来自不良来源。

相关内容