适用于大量小文件的文件系统

适用于大量小文件的文件系统

我正在使用 NetApp 设备作为 NAS 存储。我有很多小文件(30-60k)和目录。例如,我有:30000 个目录和另外 1000-2000 个目录。

许多目录是空的,但大多数都有许多文件(30k)。

我应该更改 Ext3 上的块大小吗?

答案1

如果您将 NetApp 用作 NAS,即使用 NAS 协议(如 NFS、CIFS/SMB、http 等),那么您无法选择文件系统,它使用 NetApp 的 WAFL 文件系统,您无法更改它。

如果您使用 NetApp 提供块级共享(如 iSCSI/光纤通道/FCoE),那么它是否位于 NetApp 上就无关紧要了 - 您可以假设它位于本地磁盘上。在这种情况下,请使用我们的搜索功能,因为这种问题已经被问过许多次以前。

答案2

根据您的要求,我推荐 ReiserFS。基准测试表明,与其他文件系统相比,ReiserFS 在处理大量小文件时表现最佳。Ext3 远非您的最佳选择,即使块大小较小。

但是,正如其他答案中已经提到的那样,如果您使用的是 NAS 协议,则可能无法选择文件系统。如果您将其用作块设备,请查看以下摘录Linux 文件系统入门

EXT2

  • 建议移至 EXT3
  • 未记入日记
  • POSIX 访问控制

EXT3

  • 最流行的 Linux 文件系统,文件大小和数量的可扩展性有限
  • 已记入日记
  • POSIX 扩展访问控制

捷豹路虎

  • 高性能和可扩展性
  • 已记入日记
  • POSIX 扩展访问控制

雷泽文件系统

  • 当文件数量很大和/或文件较小时,性能和可扩展性最佳
  • 已记入日记
  • POSIX 扩展访问控制

西弗斯

  • 最适合超大文件系统、大文件和大量文件
  • 日志式(还提供非对称并行集群文件系统版本)
  • POSIX 扩展访问控制

相关内容