data-consistency

当需要检查和修复大型文件系统时,如何避免停机
data-consistency

当需要检查和修复大型文件系统时,如何避免停机

我正在研究构建和运行大型存储服务器(必须运行 Linux)的方法,在该服务器中,我可以对所有数据阵列运行一致性检查和修复,而使用阵列(读取和写入)的常用应用程序则继续照常工作。 假设您在一个传统的 Linux 文件系统(EXT4、XFS)上存储了数 TB 的数据,并且有数百名用户在使用,然后系统突然报告一致性/损坏问题,或者您知道机器最近出现了问题,并且文件系统很可能会出现损坏。 使文件系统脱机并运行文件系统检查很容易导致数小时/数天的停机时间,因为 EXT4 和 XFS 都无法在正常运行时运行检查和修复;需要先使文件系统脱机。 如何避免 Linux ...

Admin

当启用 BTRFS 存储的主机的文件夹由其他主机远程安装时,BTRFS 自我修复机制是否适用?
data-consistency

当启用 BTRFS 存储的主机的文件夹由其他主机远程安装时,BTRFS 自我修复机制是否适用?

文件系统 BTRFS 具有一些有关数据一致性/错误检测和纠正的有用功能(我们称之为自我修复机制)。在以下情况下,这些机制是否适用? 具有 BTRFS 存储的服务器 <--> WebDAV <--> 客户端 PC 客户端电脑使用 WebDAV 挂载(或借助任何其他协议的其他远程挂载类型)来访问服务器上的文件。 现在:当在客户端打开一个文件并在没有更改的情况下关闭它并且在此期间发生位翻转时会发生什么?到目前为止,我假设如下: 在处理挂载中的文件时,服务器端发生的位翻转不会有问题,因为 BTRFS 会覆盖这一点。客户端的位翻转将不会被服务器...

Admin

如何保证主DNS服务器之间的DNS记录一致性?
data-consistency

如何保证主DNS服务器之间的DNS记录一致性?

根DNS服务器可能是最典型的主(非只读)DNS服务器,目前根DNS服务器的IP地址有13个,但考虑到IP Anycast技术,全球部署的根DNS服务器会超过13个。 如果有人想要更新所有根 DNS 服务器的 DNS 记录,那么所有这些 DNS 服务器之间是否存在某种同步或复制机制? 更复杂的是,如果两个人想要同时更新同一个 DNS 记录,DNS 如何解决潜在的冲突? 例如,某人A将 DNS 记录更新至r1,同时,某人将相同的 DNS 记录更新至;此外假设和之间存在显著的网络延迟。r2a.root-servers.net.(deployed at region...

Admin

SQL AlwaysOn 可用性组中的数据一致性
data-consistency

SQL AlwaysOn 可用性组中的数据一致性

我有一个 SQL Server 2019 的 AlwaysOn 群集,其中包含一个处于同步模式的 3 个副本的可用性组。根据Microsoft 文档: 辅助副本强化日志并向主副本返回确认。 在收到来自辅助副本的确认后,主副本完成提交处理并向客户端发送确认消息。 本文更详细地解释道: 在辅助副本中,日志接收从主副本获取日志记录并写入日志缓存。此过程在每个参与同步提交模式的辅助副本上重复。 在每个辅助副本上,都有一个重做线程,它将日志记录中提到的所有更改写入数据页和索引页。它会刷新日志以强化辅助数据库日志。 如前所述,在同步数据提交中,主副本等待来自...

Admin

如何测试Snapraid数据损坏?
data-consistency

如何测试Snapraid数据损坏?

我在硬盘上运行 Snapraid。但是,我想测试它的数据完整性功能,看看它们是否真的有效。 但我真的不明白如何“破坏”我的数据。我只能手动更改文件内容。但是,Snapraid 会正常同步此更改。Snapraid 修复会自动将文件恢复到更改之前的状态。 但是我如何测试实际的数据损坏,以及如何知道 Snapraid 是否真的修复了它? ...

Admin

ZFS:FS 与部分磁盘备份的一致性
data-consistency

ZFS:FS 与部分磁盘备份的一致性

假设我有一个 zpool,里面有一个磁盘和一些数据集、一些写入其中的文件以及一个快照。现在我创建磁盘的snap-1原始映像。之后,我写入更多文件,创建另一个快照并创建一个新映像。t-1.imgsnap-2t-2.img 如果我现在部分更新了t-1.img的内容t2.img,例如由于 中止rsync --inplace,我是否可以保证该不一致磁盘映像上的文件系统的一致性?我显然不期望snap-2事后写入 或 文件的任何内容,但我是否可以期望能够从 读取数据snap-1,因为它是只读的并且存在于两个映像中? 此外,在这种情况下,在创建备份映像之前是否卸载池会...

Admin

如何在 Windows 上直接(物理)且一致地备份 MySQL 数据文件?
data-consistency

如何在 Windows 上直接(物理)且一致地备份 MySQL 数据文件?

MySQL 附带“dump”命令和实用程序,可将数据库转换为文本形式并将该文本存储在磁盘上的某个位置。对于大型数据库,转换为文本可能是一个缓慢的操作,并会生成包含文本的大型 SQL 文件。 MySQL 在以数据库命名的 Windows 文件夹中维护三个或四个内部紧凑文件,位于其数据文件夹。复制这些文件比复制 SQL 文本文件要快得多。 但是这些文件在 MySQL 服务器运行时不会更新,因此从这些文件复制可能会产生旧数据,而复制到这些文件可能不会在 MySQL 应用程序中显示新数据。 是否有一个 BAT/CMD 命令可以用来使数据文件一致(正确),以便可...

Admin

什么时候 fsck 是危险的?
data-consistency

什么时候 fsck 是危险的?

最近,我发现由于一致性问题,远程数据中心的一台机器的根文件系统以只读方式重新挂载。 重新启动时,显示以下错误: UNEXPECTED INCONSISTENCY: RUN fsck MANUALLY (i.e., without -a or -p options) 按照建议运行 fsck 并使用 手动接受更正后Y,错误已得到纠正,系统现在正常。 现在,我认为如果将 fsck 配置为自动运行并修复所有内容将会很有趣,因为在某些情况下(例如这种情况)唯一的选择是亲自前往远程数据中心并将控制台连接到受影响的机器。 我的问题是:为什么 fsck 默认要求...

Admin

什么是存储一致性组?
data-consistency

什么是存储一致性组?

有人能向我解释一下存储解决方案中的“一致性组”是什么吗?我如何在现实世界中使用它们? 似乎每个供应商都有自己专有的存储功能术语,但以下是我目前收集到的信息: 一致性组(我认为)是一组保证始终保持一致的存储卷,也就是说,没有任何单个卷会比其同行处于更远的时间点。 现在,我不明白,也无法在其他地方找到的是: 1 - 一致性组的一致性是在同一组的所有卷之间还是仅在每个卷与其各自的镜像之间? 2 – 如果我正在运行一致性组,这是否也意味着我正在另一个远程一致性组中运行该组的镜像? 3 - 如果存储后端突然关闭,一致性组中的卷是否仍然保持一致? 即使在断电...

Admin

制作 maildir 的一致副本
data-consistency

制作 maildir 的一致副本

假设我使用 Dovecot 及其 maildir 格式来保存和访问服务器上的邮件。如何在复制 maildir 时避免竞争条件? 我确实读过一些关于备份和使用 maildir 的教程,但没有看到任何人写过这方面的内容。他们只是使用cp或rsync将目录复制到另一个地方。maildir 不可能通过复制变成不一致的状态,还是我需要某种锁定? 编辑:我想定期备份,但我认为这并不能真正解决这个问题。我知道我可以停止邮件服务器(Dovecot 和 Postfix),但我认为不这样做也可以。据我所知,maildir 支持不同应用程序的并发访问。 ...

Admin

克隆 VirtualBox VDI 以创建第二个 DRBD 节点
data-consistency

克隆 VirtualBox VDI 以创建第二个 DRBD 节点

已在 VirtualBox(Guest RHEL 6 + DRBD)中建立了主节点。 为了获得具有相同配置的第二个节点,VirtualBox 克隆操作似乎是理想的选择 轻松 声明第二个节点DRBD辅助:drbdadm secondary resource 不需要同步 DRBD 数据(乍一看) 然而我想知道:这样的设置是否足够,或者 DRBD 是否为每个主机创建唯一的数据,并且最好drbdadm create-md在第二个节点上执行另一个操作(然后同步)? (编辑:设置虚拟平台来执行测试) ...

Admin

为何 yum 索引会损坏?
data-consistency

为何 yum 索引会损坏?

有时 yum 的缓存会损坏,我们会看到如下错误: error: db3 error(-30974) from dbenv->failchk: DB_RUNRECOVERY: Fatal error, run database recovery error: cannot open Packages index using db3 - (-30974) error: cannot open Packages database in /var/lib/rpm 解决方法是rm -f /var/lib/rpm/__db*然后下一个“yum”命令重新生成...

Admin

OpenStack EC2 Ubuntu 云映像-紧急重启后 SSH 主机密钥发生更改
data-consistency

OpenStack EC2 Ubuntu 云映像-紧急重启后 SSH 主机密钥发生更改

最近,我们的一台服务器由于 IPMI BMC 故障而挂了。它是 CentOS 6.3 OpenStack 计算主机,为带有 qcow2 后端的 KVM 虚拟机提供服务。 正在运行基于 EC2 Ubintu 可以映像的 VM(precise-server-cloudimg-amd64-disk1.img)。 系统重启后我发现了一件奇怪的事情:VM 上的 ssh 主机密钥被重新创建(13:25 - 重启时间): root@weather:~# ll /etc/ssh/*key -rw------- 1 root root 668 Nov 21 13:25...

Admin

单个设备上的 zfs:当文件损坏时会发生什么?
data-consistency

单个设备上的 zfs:当文件损坏时会发生什么?

到处都有写到,即使您只有一个物理设备,ZFS 也是有用的,因为它会告诉您由于位衰减等原因导致的数据损坏。 然而,它真的能够解决腐败问题吗? 换句话说,在单个物理设备上运行 ZFS 作为文件系统有什么显著的好处吗? ...

Admin