减少通过慢速网络访问文件的带宽(linux)

减少通过慢速网络访问文件的带宽(linux)

我正尝试通过慢速网络访问共享文件夹中的文件时减少带宽。

我尝试获取 (filename.tar.gz) 文件夹并挂载它但它似乎传输的数据比我尝试访问的文件还多。

有没有办法通过网络压缩数据以优化传输速度。如果我在远程系统上使用 zfs,文件何时解压缩,在传输之前还是之后。

答案1

您有几个选择。选择 1,且只能选择 1。多次压缩没有任何好处。

  • 使用或您选择的任何压缩应用程序压缩文件tar -czv folder_name。然后通过网络复制。这可能会为您带来最佳压缩效果,因为基于 gzip 或 lmza 的压缩程序在通用压缩方面几乎无与伦比。
  • 使用特定于媒体的压缩算法压缩文件。如果您要复制音乐、图片或视频,特定于媒体的压缩算法可以大大减小文件大小。对于媒体,您还可以选择有损压缩或无损压缩以及下采样。您的需求可能有所不同。
  • 运行 scp/rsync/etc. ( rsync -z) 时使用压缩。这是即时压缩,您可以有效地用 CPU 换取更明显的网络带宽。它可以相当不错,特别是对于低熵数据(如文本文件)在非常慢的连接上。假设一个普通服务器,实际网络带宽超过 100Mbps,您将看到收益递减。超过 1Gbps,即时压缩可能会损害传输速度,因为数据发送速度可能比 CPU 压缩数据的速度更快。截止数字因数据性质、压缩算法/设置的选择以及 CPU 速度而异。

相关内容