更新1

更新1

我正在尝试同步数千个不同大小的文件,并且我想要这些文件的 1:1 副本。这意味着应该检查已经存在的文件的完整性,如果校验和错误,则需要覆盖该文件。由于部分传输失败,此时才需要进行所谓的增量传输。

显然我的安装有点不稳定,使用cp或传输 300-400GB 后会失败rsync

在此之前我做了以下操作:

  1. 我安装了存储,并做了cp -r src dest,它在大约 300GB 后失败,因为安装掉落并且出错(显然不再有错误)
  2. 我再次安装了存储并执行了操作rsync -aP src dest,在大约 400GB 后失败,rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1338) [sender=3.2.7]因为安装再次失败。考虑到文件大小,它可能会覆盖大部分文件。
  3. 我检查了内核日志,没有发现任何内容(sudo dmesg

我为我的坐骑找到了一个重新连接标志,但它不会是即时的。

  • 有一个名为 rsync 的标志-c用于计算校验和,但它是否也执行所谓的增量传输,或者我是否需要添加更多标志?

我怎样才能最好地解决这个问题?

更新1

如果我错了,请纠正我,但我认为当前的问题是存储的所有者和组与 rsync 中的用户和组不同。详细说明:cp -r复制文件并将其所有权和组所有权更改为用户复制,而 rsync 似乎以相同的用户和组所有权 1:1 复制文件...这可能就是传输覆盖旧文件的原因...

答案1

您听起来像是在两个本地文件系统之间进行复制。如果是这样,则rsync不会使用其校验和方案,并将回退到原来的状态cp

如果以 root 身份运行,则cp和都将保留所有者/组。rsync否则,目标文件将采用执行复制的帐户的所有者和(默认)组。

如果您复制了原始时间戳,cp您可以告诉rsync只需检查文件大小和时间戳,并使用它来决定是更新丢失的元数据还是重新复制整个文件:

rsync -rt src/ dst    # Timestamps only
rsync -a src/ dst     # Almost all metadata

某些文件系统可能无法保留元数据。或者您可能没有以 root 身份运行。在这些情况下,您可以尝试将元数据与每个文件一起保存在其扩展属性中。您可以-X为此添加:

rsync -aX src/ dst    # Almost all metadata

相关内容