☰

如何通过 ssh 单独复制和 gzip 文件

tag-icon • tag-icon linux ssh gzip
如何通过 ssh 单独复制和 gzip 文件

我想使用 ssh 传输包含未压缩文件的目录，并在传输过程中逐个对它们进行 gzip 压缩。有人能推荐一个简单的单行程序来实现这个功能吗？

例如。

文件A.ext -> ssh/pipe -> 文件A.ext.gz

我一直使用压缩方式通过 ssh 传输 tar，但文件在管道末端未压缩。在这种情况下，我希望它们保持压缩状态。

预先压缩是可能的，但需要本地空间，或者需要每个文件的连接（？）

有 6000 多个文件，我更喜欢一种可以使用单个连接传输所有文件的解决方案（尽管我确实使用密钥进行身份验证！）

答案1

我想您宁愿先对它们进行 gzip 压缩，然后再发送它们。

cat dafile | gzip -c | ssh remote "cat > dafile"

使用相关循环结构重复。例如

find -type f | while read fname ; do cat $fname | gzip -c | ssh remote "cat > $fname" ; done

... 或者类似的东西。需要设置 pkey 访问权限，否则这将是一个巨大的密码快速输入练习。

编辑：

关于单个连接，请参阅 man ssh_config ControlMaster。这意味着您可以节省协商 6000 个 SSH 会话中的 5999 个的开销。

编辑2：

哈哈！我赢了！

tar zcf - /dir/of/files | ssh remote "tar zxf - --to-command=mygzip.sh"

远程机器上的 mygzip.sh 如下所示：

#!/bin/sh
mkdir -p "$(dirname $TAR_FILENAME)"
gzip -c > "${TAR_FILENAME}.gz"

答案2

GNU 并行可以轻松做到这一点：

find . -type f | parallel "gzip -c {} | ssh server \"cat>{}.gz\""

但它也会查找并发送起始目录下目录中的文件。

或者如果您只想发送单个目录中的所有常规文件：

parallel "gzip -c {} | ssh server \"cat>{}.gz\"" ::: *

答案3

每个人都有自己的技巧来复制不使用 SCP 的文件。这是我的（不使用 SSH），http://linuxtipsandtricks.com/file-manipulation/transferring-files-with-netcat-nc/

其次，如果您坚持使用 SSH，您可能需要在 SSH 中添加“-c arcfour”。

高血压

答案4

你应该看看这页。

它比较了使用 scp、tar+ssh 和 tar+nc（带/不带 ssh 或 gzip 压缩）进行此类文件传输的执行时间。

除了提供完成任务的多种选择之外，其结果还很有趣。

相关内容