我正在开发一个 python3 脚本,该脚本通过 rsync 从安装在 pod 中的 PersistentVolumeClaims 复制数据。此脚本在 pod 中执行,因此 rsync 连接是从一个 pod 到另一个远程 pod。
问题是,每当要复制的数据量有点大时,rsync 就会失败并出现以下错误:
2020-05-05 16:14:06,330 - OCPRSYNCER - INFO - rsync -ahrvz --quiet --delete --progress=true --rsh='oc rsh -n test-rsyncer -c postgresql' postgresql-2-h8qjb:/var/lib/pgsql/data/ /opt/app-root/backup/PVCs/test-rsyncer/postgresql/
E0505 16:14:09.843986 26 v2.go:147] write /dev/stdout: resource temporarily unavailable
容器的用户是root,并且这些是pod内部的ulimits设置:
sh-4.2# whoami
root
sh-4.2# ulimit -a
core file size (blocks, -c) unlimited
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 128597
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1048576
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 1048576
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
sh-4.2#
答案1
最后,这个选项--blocking-io
对我起了作用。
引用 man: --blocking-io 对远程 shell 使用阻塞 I/O
以下命令可成功运行:
rsync --blocking-io -ahrvz --delete --rsh='oc rsh -n test-rsyncer -c postgresql' postgresql-2-h8qjb:/var/lib/pgsql/data/ /backup/PVCs/test-rsyncer/postgresql