编辑:
事实证明,这是来自 ext4 文件系统的哈希冲突。
我正在向一个文件夹写入大量文件,没有子目录,但是在写入 280 万个文件后出现此错误:
with open(bottleneck_path, 'w') as save_file:
OSError: [Errno 28] No space left on device: '/home/user/path/redacted'
我检查了文件名的长度,只有 149 个字符。文件大小应该在 18K 左右。
我的操作系统是Linux。
DF-我:
Filesystem Inodes IUsed IFree IUse% Mounted on
udev 4106923 544 4106379 1% /dev
tmpfs 4113022 836 4112186 1% /run
/dev/sda2 28401664 9008557 19393107 32% /
tmpfs 4113022 40 4112982 1% /dev/shm
tmpfs 4113022 5 4113017 1% /run/lock
tmpfs 4113022 16 4113006 1% /sys/fs/cgroup
/dev/sda1 0 0 0 - /boot/efi
DF-T
Filesystem Type 1K-blocks Used Available Use% Mounted on
udev devtmpfs 16427692 0 16427692 0% /dev
tmpfs tmpfs 3290420 22136 3268284 1% /run
/dev/sda2 ext4 447088512 355325584 69029056 84% /
tmpfs tmpfs 16452088 82448 16369640 1% /dev/shm
tmpfs tmpfs 5120 4 5116 1% /run/lock
tmpfs tmpfs 16452088 0 16452088 0% /sys/fs/cgroup
/dev/sda1 vfat 523248 3684 519564 1% /boot/efi
杜什。
56G
ls | wc -l
2892084
据我所知,ext4 应该能够很好地处理这个问题。
编辑:
tune2fs -l /dev/sda2
tune2fs 1.42.13 (17-May-2015)
Filesystem volume name: <none>
Last mounted on: /
Filesystem UUID: cd620466-1f88-400b-acf5-457a9c9544cf
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags: signed_directory_hash
Default mount options: user_xattr acl
Filesystem state: clean
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 28401664
Block count: 113587456
Reserved block count: 5679372
Free blocks: 82864623
Free inodes: 25755495
First block: 0
Block size: 4096
Fragment size: 4096
Reserved GDT blocks: 996
Blocks per group: 32768
Fragments per group: 32768
Inodes per group: 8192
Inode blocks per group: 512
Flex block group size: 16
Filesystem created: Wed Mar 1 15:14:22 2017
Last mount time: Mon Mar 27 13:20:00 2017
Last write time: Mon Mar 27 13:20:00 2017
Mount count: 35
Maximum mount count: -1
Last checked: Wed Mar 1 15:14:22 2017
Check interval: 0 (<none>)
Lifetime writes: 1813 GB
Reserved blocks uid: 0 (user root)
Reserved blocks gid: 0 (group root)
First inode: 11
Inode size: 256
Required extra isize: 28
Desired extra isize: 28
Journal inode: 8
First orphan inode: 1312056
Default directory hash: half_md4
Directory Hash Seed: e186507d-32b5-49c0-8ce1-09bf2a75d816
Journal backup: inode blocks
使用
touch /home/user/path/redacted/somefile_1
抛出错误,但使用不同名称的相同文件名结构可以正常工作。例如:
touch /home/user/path/redacted/somefile_2
编辑: 事实证明,这是来自 ext4 文件系统的哈希冲突。
答案1
问题不在于存在哈希冲突 --- htree 可以很好地支持冲突。问题是 ext4 目前仅支持两级深度哈希树。有补丁可以解除此限制:
https://www.spinics.net/lists/linux-ext4/msg55729.html
但请注意,当您有两百万个目录时,性能不会很好。我建议使用多级目录层次结构 --- 例如,/home/t/y/tytso,而不是在 /home 中拥有数不清的目录。
答案2
你能测试一下它是否真的与操作系统有关吗?
由于您没有将 Python 脚本代码用于此问题,因此这里有一个脚本,它创建了 3mio 个文件,每个文件的文件名有 150 个字符。在我这边,它运行良好,没有任何错误。
成功运行脚本后:
- 将此问题移至堆栈溢出获得有关您的代码的帮助。
如果脚本失败(即在 2.8 mio 文件之后):
- 将此问题移至UNIX/Linux获取 Linux 操作系统相关的帮助。
您需要将其设置target_dir
为现有的空目录
#!/usr/bin/env python3
# vim:fenc=utf-8 ts=4 sw=4 sts=4 et:
# -*- coding: utf-8 -*-
import sys
target_dir = "/home/user/sandbox/test/"
no_files = 3000000
sys.stdout.write("start")
def pretty_no(nr, l):
# create filename string
res = str(nr)
l -= len(res)
return "0"*l+res
for i in range(0, no_files):
fn = target_dir+pretty_no(i, 150)
f = open(fn, "w")
f.write("hello world!")
f.close()
sys.stdout.write("\r%s files" % i)
print("\ndone")