sparse-files

文件大小明显有 86TB,如何缩小它们?
sparse-files

文件大小明显有 86TB,如何缩小它们?

解压 zip 文件后,我的表观大小为 8.6P,但实际使用的磁盘空间只有 728M。我做了一些检查,hdparm --fibmap发现所有文件都有一个巨大的byte_offset: 94331430207488. 我尝试使用fallocate -d,cp --sparse=never但两者都保留了具有相同偏移量的文件,因此显然具有相同的大小。使用 filefrag 显示它们都只有一个区。并且它不是硬链接,因为的计数器为ls -il1。 所以问题是,我怎样才能缩小它们以便使用并仅显示真实尺寸? ...

Admin

为什么“rsync --sparse”创建的文件比源文件大得多?
sparse-files

为什么“rsync --sparse”创建的文件比源文件大得多?

我尝试在 2 个本地磁盘之间进行 rsync,因此没有压缩。稀疏文件的表观大小为 50GB,实际大小为 16GB。我试过了rsync -a -P --sparse,最后确实在目标上生成了稀疏文件。但是,它不如源文件那么稀疏。生成的文件是 27GB,而不是 16GB。我可以用它fallocate -d <filename>来进一步缩小它。它变成了 18GB 左右。但是,此操作需要很长时间。另一方面,cp -a --sparse可以创建相同的文件。 而且速度和没有 的 rsync 命令一样慢--sparse。这是因为: 按照目前的设计,--spar...

Admin

Barman:rsync wal 归档在某些文件上停滞
sparse-files

Barman:rsync wal 归档在某些文件上停滞

我正在通过 rsync 从 postgres 服务器归档 wal 文件,大多数时候归档工作正常且快速,连接速度测试在这里:(通过互联网进行) [ ID] Interval Transfer Bandwidth Retr Cwnd [ 4] 0.00-1.00 sec 9.30 MBytes 78.0 Mbits/sec 0 395 KBytes [ 4] 1.00-2.00 sec 66.3 MBytes 556 Mbits/sec 14 1.05 MBytes [ ...

Admin

MacOS 稀疏包是否适合多用户访问
sparse-files

MacOS 稀疏包是否适合多用户访问

我想在 Linux NAS(synology)上使用 sparsebundle 作为加密容器。MacOS 客户端可以通过 SMB 或 AFP 在共享文件夹中访问 sparsebundle 文件。如果多个用户可能同时从他们的 MacOS 客户端访问 sparsebundle,这是否可行? ...

Admin

在 proxmox 中禁用精简配置(稀疏文件)
sparse-files

在 proxmox 中禁用精简配置(稀疏文件)

我正在使用 Proxmox 虚拟环境来运行一些虚拟机。我使用原始存储格式,并且需要在创建时完全预先分配磁盘,这样它就不会增长。 proxmox 说这是默认行为,但我遇到的情况恰恰相反。新虚拟机不占用任何磁盘空间,它们会逐渐占用整个物理磁盘。这会立即关闭所有虚拟机,并导致致命的磁盘故障。 我找到了这个帖子并发表了一些帖子:https://forum.proxmox.com/threads/disabling-thin-provisioning.20226/#post-103097但目前还未收到答复。 我将非常感激任何帮助,即使它仅适用于创建新的虚拟机。 ...

Admin

过度分配的稀疏文件不会发生写入失败
sparse-files

过度分配的稀疏文件不会发生写入失败

我一直在处理稀疏文件以便在 Windows samba 挂载上复制 Linux fs 权限,这个想法来自这里:https://www.thanassis.space/backup.html。 然而,在测试稀疏文件时,我发现了一个有趣的问题,即“已满”的主驱动器不会向应用程序报告写入失败。相反,当主驱动器写满时,即使驱动器已满,写入仍会继续并成功完成。 为了测试这一点,我进行了以下设置。 [root@ip-172-31-61-147 ~]# df -h Filesystem Size Used Avail Use% Mounted on /d...

Admin

NFS
sparse-files

NFS

这个问题之前是在 stack overflow 中提出的,但是那里的好心人建议我尝试这里的社区。 我正在研究与各种文件系统有关的稀疏文件,并试图找到一些具体的东西来表明网络文件系统(NFS)或服务器消息块(SMB)支持稀疏文件。 据我所知,SMB 在 Windows 中被广泛使用,并且根据入口,即使底层文件系统不支持,SMB 服务器也可以支持稀疏文件。但是,如果我没记错的话,不支持稀疏文件的文件系统只会用零填充“空洞”,这可能会导致性能问题。 关于 NFS,我还没有找到有关使用 NFS 支持稀疏文件的任何信息。 因此,我的问题是, NFS 和 SM...

Admin

如何在Linux服务器上创建一个小巧却方便的qcow2文件?
sparse-files

如何在Linux服务器上创建一个小巧却方便的qcow2文件?

我相信存在 qcow2 文件,这些文件会占用服务器上少量的 GB(已在物理服务器上使用 df -h 进行验证),但当您登录 virt-manager VM 并发出 df -h 时,它们会留出大量空间。您如何创建这样的文件?物理服务器如何知道,如果/当 VM 增长到最大大小并可能填满物理服务器时,不会出现问题? truncate 命令不会创建小的 qcow2 文件。虚拟机管理器的 GUI 允许通过 GUI 创建“硬件”。这两种创建 .qcow2 文件的方法都会创建最大大小的文件。 ...

Admin

XFS/EXT4:为什么磁盘上的实际文件大小大于表观大小?澄清
sparse-files

XFS/EXT4:为什么磁盘上的实际文件大小大于表观大小?澄清

在运行 XFS 文件系统上的 KVM/qemu 的 CentOS 7.1.1503(3.10.0-229.el7.x86_64)系统上,我试图找出具体是什么在为 VM 磁盘映像文件添加额外的空间。 $ ls -ls --block-size=1k 15728648 -rw-------. 1 qemu qemu 15728640 Aug 8 07:50 original.img 15728640 -rw-------. 1 qemu qemu 15728640 Aug 8 08:25 original.imgcopied 2288960 -rw---...

Admin

减少 xen 映像磁盘使用量
sparse-files

减少 xen 映像磁盘使用量

两种情况: 1.如果使用 dd 制作 hdd 映像并通过 nfs 将其复制到另一台服务器: mount -o ro,remount / dd if=/dev/sda bs=64K | gzip -c > /share/test.img.gz 然后在 gunzip 之后我得到 20Gb(例如)的文件,在末尾填充了零: du -h /md/share/test.img 21G /md/share/test.img 2. 如果我使用 dd 创建空图像: dd if=/dev/zero of=/md/share/test2.img bs=102...

Admin

为什么使用 hexdump 读取文件有时会改变 find 的稀疏值 (%S)?
sparse-files

为什么使用 hexdump 读取文件有时会改变 find 的稀疏值 (%S)?

我使用 Lustre 文件系统。我注意到,如果我查看%S某个文件的 find 的稀疏值 ( ),然后使用 打印该文件hexdump,然后再次查看 find 的稀疏值,则有时 find 的稀疏值 ( %S) 会发生变化。为什么会改变? 查看%S文件的查找稀疏值 ( )的命令myvideo.mp4: find myvideo.mp4 -printf "%S" myvideo.mp4使用以下命令读取文件hexdump: hexdump myvideo.mp4 我注意到几个文件上的这种行为。 find 稀疏值变化的示例 ( %S): 0.00013555...

Admin

截断命令不创建孔
sparse-files

截断命令不创建孔

我正在尝试使用 truncate 命令创建一个有孔的文件。我阅读了一些帖子和其中的答案之一邮政说使用截断命令。使用的文件系统是 btrfs。这是命令 $: truncate -s 16K holes $: du holes $: 16 holes $: stat holes File: holes Size: 16384 Blocks: 32 IO Block: 4096 regular file 可以看出,它分配了 16 个块...我的理解是,它将分配 0 个块,正如答案中提到的那样。我在理解截断...

Admin

稀疏文件对于应用程序来说有多透明?
sparse-files

稀疏文件对于应用程序来说有多透明?

我希望我理解稀疏文件的概念。我也知道cp命令--sparse=... 然而,当谷歌搜索实际应用程序时,我发现关于使用通用操作系统文件 I/O API 读取/写入文件的应用程序的透明程度的含糊不清的陈述(我的意思是不是在极低的级别,只是 fopen()、fclose () ETC) 当阅读博客时,它并不干净,解释谈论应用程序(例如测试编辑器)如何通过显式向稀疏文件写入零来“破坏”稀疏文件。我认为这就是重点,如果有一个稀疏文件,并且应用程序写入零,则该文件不会被物理存储。应用程序不必知道这一点,也不必处理间隙之类的事情,这是文件系统的责任。 问题 假设有一个稀疏...

Admin

如何挂载稀疏磁盘映像
sparse-files

如何挂载稀疏磁盘映像

我有 PC 的 mSATA SSD 磁盘的映像。该磁盘包含操作系统,容量为512GB。 我没有那个可用存储空间,所以我将磁盘克隆到一个图像中,并用dd压缩它gz,然后根据 的答案这个帖子,我把稀疏的内容复制了,这样占用的空间就少了。 此操作正确,导致 512GB 的映像在磁盘上占用的空间少于 5GB。 作为已完成工作的总结: # dd bs=64K if=/dev/sdd conv=sync,noerror status=progress | gzip -c > /image.img.gz # gunzip -c /image.img.gz | cp...

Admin

使用 grep 从文本文件中提取带有表达式的文本
sparse-files

使用 grep 从文本文件中提取带有表达式的文本

我的文本文件中有以下 2 行,并且想要计算这些行 X 和 Y 之间的持续时间(以分钟为单位)。 line X: 18.05.2022 13:54:52 [ INFO]: Starting Component 'OWN_FUNDS_RULES' (5/15) line Y: 18.05.2022 14:28:22 [ INFO]: Finished Component 'OWN_FUNDS_RULES_CONSOLIDATION' (6/15) with SUCCESS - 00:07:05.119 我有以下代码,它将持续时间返回为零。 cd /logs...

Admin