我正在尝试同步数千个不同大小的文件,并且我想要这些文件的 1:1 副本。这意味着应该检查已经存在的文件的完整性,如果校验和错误,则需要覆盖该文件。由于部分传输失败,此时才需要进行所谓的增量传输。
显然我的安装有点不稳定,使用cp
或传输 300-400GB 后会失败rsync
。
在此之前我做了以下操作:
- 我安装了存储,并做了
cp -r src dest
,它在大约 300GB 后失败,因为安装掉落并且出错(显然不再有错误) - 我再次安装了存储并执行了操作
rsync -aP src dest
,在大约 400GB 后失败,rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1338) [sender=3.2.7]
因为安装再次失败。考虑到文件大小,它可能会覆盖大部分文件。 - 我检查了内核日志,没有发现任何内容(
sudo dmesg
)
我为我的坐骑找到了一个重新连接标志,但它不会是即时的。
- 有一个名为 rsync 的标志
-c
用于计算校验和,但它是否也执行所谓的增量传输,或者我是否需要添加更多标志?
我怎样才能最好地解决这个问题?
更新1
如果我错了,请纠正我,但我认为当前的问题是存储的所有者和组与 rsync 中的用户和组不同。详细说明:cp -r
复制文件并将其所有权和组所有权更改为用户复制,而 rsync 似乎以相同的用户和组所有权 1:1 复制文件...这可能就是传输覆盖旧文件的原因...
答案1
您听起来像是在两个本地文件系统之间进行复制。如果是这样,则rsync
不会使用其校验和方案,并将回退到原来的状态cp
。
如果以 root 身份运行,则cp
和都将保留所有者/组。rsync
否则,目标文件将采用执行复制的帐户的所有者和(默认)组。
如果您复制了原始时间戳,cp
您可以告诉rsync
只需检查文件大小和时间戳,并使用它来决定是更新丢失的元数据还是重新复制整个文件:
rsync -rt src/ dst # Timestamps only
rsync -a src/ dst # Almost all metadata
某些文件系统可能无法保留元数据。或者您可能没有以 root 身份运行。在这些情况下,您可以尝试将元数据与每个文件一起保存在其扩展属性中。您可以-X
为此添加:
rsync -aX src/ dst # Almost all metadata