☰

测试从服务器 1 到服务器 2 的 10 TB 文件传输速度时卡住了

tag-icon • tag-icon filesystems mount scp aws
测试从服务器 1 到服务器 2 的 10 TB 文件传输速度时卡住了

我正在测试通过 AWS 将 10 TB 文件从一台服务器传输到另一台服务器。

我已经挂载了文件系统：

lsblk
file -s /dev/sdb
mkfs -t xfs /dev/sdb
mkdir /data
mount /dev/sdb /data
cd /data

使用以下命令创建了 10 TB 的数据文件：

dd if=/dev/nvme1n1 of=test10t.img bs=1 count=0 seek=10T

（这是正确的还是有其他好的选项来下载 10 TB 大小的示例文件）

显示ls -laSh已下载 10 TB 的文件。然而，df -h显示为：

Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        464M     0  464M   0% /dev
tmpfs           472M     0  472M   0% /dev/shm
tmpfs           472M  596K  472M   1% /run
tmpfs           472M     0  472M   0% /sys/fs/cgroup
/dev/nvme0n1p1  8.0G  8.0G   16K 100% /
tmpfs            95M     0   95M   0% /run/user/1000
/dev/nvme1n1     11T   79G   11T   1% /data
tmpfs            95M     0   95M   0% /run/user/0

10 TB 大小未充分利用。有人可以解释一下吗？

另外，在使用以下命令从一台服务器到另一台服务器执行 SCP 时：

scp -i <password-of-second-server> <10TB file> ec2-user@<ip-address of other server>:~

它显示为正在传输文件。但传输尚未完成，因为文件较大，一旦超过 100GB，传输速度就会变慢。我正在从 server1 转移到 server2。在 server1 cli 中，它显示为正在进行，平均进度约为 25 GB/小时。如果这是有助于完成我的要求的正确方法，任何人都可以指导和纠正吗？

答案1

由于您正在使用scp...也许问题的原因可能是远程主机没有看到连接上的活动并且超时。

sshd_config在远程主机上确认以下条目：

ClientAliveInterval 250
ClientAliveCountMax 16

您可以做的另一件事是使用命令分割 10TB 文件shar。然后是scp每个 Shar 文件。

相关内容