我的目标是找到一个 Linux 上支持类似 ZFS 的轻量级快照和快照克隆的分布式文件系统。这个 StackOverflow 问题很好地表达了我的需求。我正在尝试弄清楚 Lustre + ZFS 是否是解决方案。 如果我设置了 ZFS 支持的分布式 Lustre 文件系统，我是否可以对其进行快照，然后挂载和克隆这些快照？或者 ZFS 快照功能是在单个 OSS 级别而不是在整个分布式文件系统上运行？ 到目前为止，我的研究让我倾向于 Lustre + ZFS 作为一个有前途的选择，但互联网上的共识似乎是，直到最近的 0.6.1 版本发布之前，Linux 上的...
我们的 MySQL 安装存储了数 TB 的数据，这些数据访问频率并不高。在接下来的六个月中，我们将把大部分数据存储转移到基于 Lustre 的系统，我想知道如果 MySQL 将其 innodb 文件夹存储在那里，它会如何表现。 我可以想象在虚拟机上创建一个 Lustre 客户端，并通过 NFS 安装 MySQL 服务器上的文件夹，但这似乎是一个额外的层。将 MySQL 放在 Lustre 客户端本身上意味着 Lustre 内核必须表现良好。 无论如何 - 有人尝试过吗？为什么或为什么不尝试？ ...
我设置了 8TB 且最大吞吐量为 4GB/s 的 Azure Managed Lustre。 跟随官方文档对于Ubuntu 20.04大小的虚拟机Standard_L8as_v3，我设法挂载文件系统。 然后我使用以下命令测试我的设置：dd写入 ：fio dd if=/dev/zero of=<mount_directory>/testfile bs=1G count=5 oflag=dsync && sync && echo "Write Test Completed" fio --name=write_tes...
lustre doc写道： To limit quota usage for a specific project ID on a specific directory ("/mnt/testfs/dir" in this example), run: $ chattr +P /mnt/testfs/dir $ chattr -p 1 /mnt/testfs/dir $ lfs setquota -p 1 -b 307200 -B 309200 -i 10000 -I 11000 /mnt/testfs 但是如果已经有很多现有目录，而我不知道它们是否已计...
使用 HPC lustre 文件系统时，我们偶尔会遇到故障，即使只是打开终端并输入“ls”，也需要几分钟才能返回。也就是说，涉及文件系统的任何进程都会随机出现大量延迟（但通常不会产生实际错误），而不涉及文件系统的进程（例如在 x-windows 会话中拖动窗口）仍保持响应。 什么可能导致 Lustre 间歇性地表现出过度延迟？（一定是硬件故障、配置错误、文件系统接近满，还是当天某些分布式并行作业的不良使用模式？） ...
我遇到过这样一种情况，多个同时执行读取操作的节点在 Lustre 文件系统中更新 atime 字段时，造成了严重的性能损失。 有没有办法让任意命令不更新 atime，而不必使用 noatime 选项挂载 FS？系统中的其他用户可以依赖此字段进行操作，因此如果可能的话，我不想进行系统范围的更改。 我可以在自己编译的程序中添加 O_NOATIME 标志，但我需要在其他工具（如 gzip）中使用它。 ...
我们目前正在使用 EMR 来轻松提交我们的 Spark 作业。最近我遇到了“FSx lustre + S3”解决方案，该解决方案被宣传为 HPC 情况的理想选择。然而，据说 EMRFS 也针对这种特定场景进行了优化，使 S3 看起来像本地 Hadoop 文件系统。 所以我想知道，为什么有人会在成本和性能方面选择这两者中的任何一个？ 这个问题可以跟进AWS EMR 使用 AWS S3 时的费用但不幸的是，我没有资格在那里发表评论。 先谢谢您的帮助。 ...
我记得一年前尝试过 s3fs，尝试使用一些 S3 存储桶作为 FUSE 文件系统。我记得它相当滞后，尤其是与 git 操作结合使用时（一个粗心的系统架构师有这样奇怪的要求）。 几个月后，我发现了 Lustre 和 AWS FSx for Lustre 与 S3 相结合，据称它们提供了一个非常相似的用例： （aws fsx 常见问题） Amazon FSx for Lustre 与 Amazon S3 原生兼容，让您能够轻松使用高性能文件系统处理云数据集。当链接到 S3 存储桶时，FSx for Lustre 文件系统会透明地将 S3 对象呈现为文...
我有一台装有 Lustre 文件系统的生产服务器。它有 2 个 OST 和一个 MDT。现在我的 MDT 已满。我无法删除我的旧文件。 这是我的光泽文件系统的快照。 $ lfs df -i UUID Inodes IUsed IFree IUse% Mounted on data-MDT0000_UUID 28002745 28002745 0 100% /mnt/data[MDT:0] data-OST0000_UUID 78818692...
我的职业是系统管理员，我在家里也做我在工作中做的事情，也为了好玩。我有一台 Gentoo Linux 笔记本电脑、运行 Raspian 的 Raspberry Pi、一台 Gentoo 服务器、运行 Debian 的 ARM 设备，还有各种 Android 设备。我总是在考虑如何在不同的设备之间备份和同步我自己的主目录，同时又要保证它不被窥探。 我在 80 年代的 CMU 就曾使用过 Andrew，感觉就像魔术一样。如果 NFS 有某种机制来处理断开连接的访问并且不假定网络连接持续，我会考虑使用 NFS。 OpenAFS 是否会被管理员考虑用来处理现...
我正在寻找一个可以同时列出多个目录中文件数量的命令。目前，我可以针对单个目录执行此操作： lfs find DIRECTORY -type f | wc -l 但反复执行起来很繁琐。有人能想出一种方法来做到这一点吗这个答案，但是使用 lfs find，而不是 gnu find？ ...
我对 Lustre 文件系统的理解是，每个文件在元数据目标 (MDT) 上使用一个 inode，然后在对象存储目标 (OST) 上使用每个条带一个 inode。我的问题是，这些数字中的哪一个计入我的文件数 (inode) 配额？如果我有 1000 个文件，每个文件（例如）有四个条带，则输出是files什么lfs quota？ ...
我们的实验室有一个集群 70 个计算节点 4个IO节点 Infiniband QDR 互连 使用IB SRP协议访问的12T磁盘阵列 主要应用是调试和运行基于 MPI 的并行科学程序。客户端/计算节点将编写几 GB 的数据（总计）同时每隔几分钟。 文件系统曾经是光泽，与主流超级计算机中心相似。但安装过于复杂，可维护性很差。 那么有没有一种易于使用的“小规模”分布式网络文件系统？或者说，NFS 适合这种场景吗？ ...
我们需要专门用于 HPC Lustre 故障转移设置的存储，其中两个服务器必须共享相同的块级存储才能进行故障转移配置。 由于对硬件的了解非常有限，我有以下理解： NAS可以用于共享存储，但是由于中间网络会存在速度瓶颈。 可以使用 SAN，但实施解决方案的成本很高，并且对于 50-100TB 的存储来说并不是真正需要。 如果我们发现存储机箱有多个 iscsi 端口，则只能通过拆分来使用存储，即作为两个存储设备工作，并且两个系统不能使用同一个存储 。（这里要提醒一点，在 lustre 设置中，两个服务器都只连接在一起，但只会使用一个（不确定如何实现，需...
如何选择服务器： 存储I/O性能高 在添加更多存储方面具有高度灵活性 因此，基本上这些服务器应该充当 Lustre 架构中 OST 的存储服务器。 所以，在了解上述内容的过程中，我还想知道 CPU 的处理速度是否限制了磁盘的读写速度。我猜存储控制器负责读写。所以这里不需要 CPU 性能？请纠正。 我正在寻找 HP 服务器。 请提出建议。 ...