☰

使用中间/中转服务器下载数据

tag-icon • tag-icon linux data-transfer
使用中间/中转服务器下载数据

我需要在源和目标之间使用中间服务器下载 500TB 的文件和文件夹。但是中间服务器只有 10TB 的可用空间。源和目标只有 rsync、scp 和 bbcp 可用。如果需要，可以下载和执行二进制文件。中间服务器更灵活，也可以从软件包存储库安装。但是命令只能从目标发出，因为它位于 vpn 后面。最后，主机和目标有 redhat enterprise linux，而中间服务器有 ubuntu 18.04。什么是最简单、最有效的方法来自动化和完成此下载，而无需复杂的脚本？

答案1

scp -J和scp -o ProxyJump（等同于）允许一个人通过中间/代理主机（可以指定多个）从/到远程服务器进行 SCP。

举个例子：

scp -J ${proxy_user}@${proxy_host} \
    ${remote_user}@${remote_host}:${remote_path} .

22或者，如果使用非标准 SSH 端口（即不是）：

scp -J ${proxy_user}@${proxy_host}:${proxy_port} \
    -P ${remote_port} \
    ${remote_user}@${remote_host}:${remote_path} .

相关内容