我正在测试通过 AWS 将 10 TB 文件从一台服务器传输到另一台服务器。
我已经挂载了文件系统:
lsblk
file -s /dev/sdb
mkfs -t xfs /dev/sdb
mkdir /data
mount /dev/sdb /data
cd /data
使用以下命令创建了 10 TB 的数据文件:
dd if=/dev/nvme1n1 of=test10t.img bs=1 count=0 seek=10T
(这是正确的还是有其他好的选项来下载 10 TB 大小的示例文件)
显示ls -laSh
已下载 10 TB 的文件。然而,df -h
显示为:
Filesystem Size Used Avail Use% Mounted on
devtmpfs 464M 0 464M 0% /dev
tmpfs 472M 0 472M 0% /dev/shm
tmpfs 472M 596K 472M 1% /run
tmpfs 472M 0 472M 0% /sys/fs/cgroup
/dev/nvme0n1p1 8.0G 8.0G 16K 100% /
tmpfs 95M 0 95M 0% /run/user/1000
/dev/nvme1n1 11T 79G 11T 1% /data
tmpfs 95M 0 95M 0% /run/user/0
10 TB 大小未充分利用。有人可以解释一下吗?
另外,在使用以下命令从一台服务器到另一台服务器执行 SCP 时:
scp -i <password-of-second-server> <10TB file> ec2-user@<ip-address of other server>:~
它显示为正在传输文件。但传输尚未完成,因为文件较大,一旦超过 100GB,传输速度就会变慢。我正在从 server1 转移到 server2。在 server1 cli 中,它显示为正在进行,平均进度约为 25 GB/小时。如果这是有助于完成我的要求的正确方法,任何人都可以指导和纠正吗?
答案1
由于您正在使用scp
...也许问题的原因可能是远程主机没有看到连接上的活动并且超时。
sshd_config
在远程主机上确认以下条目:
ClientAliveInterval 250
ClientAliveCountMax 16
您可以做的另一件事是使用命令分割 10TB 文件shar
。然后是scp
每个 Shar 文件。