模拟 HPC 应用程序数据来测试大型链路上的 WAN 文件系统性能

模拟 HPC 应用程序数据来测试大型链路上的 WAN 文件系统性能

所以这里是设置:我们暂时访问一个非常大的 TCP WAN 连接,并且我们想使用这个管道进行 WAN 文件系统测试。

我们希望动态生成大量数据,并将其写入另一端的文件系统。我们有大量服务器可供使用,因此通过正确的模拟生成足够的数据不是问题,但我们希望模拟实际的 HPC 应用程序数据,而不是仅仅通过管道传输 /dev/zero。

就像我提到的那样,我们希望真正写入数据,因此需要比 iperf 或 netperf 更多的工具。那么我的问题是,你们当中有人知道任何 HPC 应用程序数据模拟器吗?你们将如何测试将数据写入链接的另一端?

编辑:

我快要找到一个能满足要求的工具了。

最有希望的是MADbench2这是适用于并行 I/O 测试目的的实际科学模拟代码。

我将研究更多工具本页列出了并行 I/O 基准

目前还不清楚其中哪一个实际上写入了数据,而这正是我们真正的目标。

答案1

该页面上的大多数并行 I/O 基准测试实际上应该写入数据(尽管通常是随机噪声)。我个人只使用过该列表中的 IOR 和 PIO-Bench,但这些都是 HPC 社区中相对知名和接受的基准测试。“相对”,因为 I/O 基准测试可能会在 HPC 中引发圣战(尤其是与供应商之间的圣战)......但它们都不是真的很糟糕。

IOR 是我最有经验的,它似乎能给出很好的结果。不过设置起来可能很复杂;请确保您已安装并正确配置 MPI 以并行运行。有关 IOR 的更多信息,请参阅这张纸这一页也是一个有用的快速参考。

但说实话,任何系统的最佳基准都是真实应用程序。我更相信根据测试数据运行真实应用程序,而不是任何基准,因为我曾被过于简单的测量所困扰,这些测量不能代表真实的性能。

答案2

dd用和手卷一些东西怎么样nc

也许你可以这样做dd if=/dev/sda | nc otherside 9999,另一方面,nc -l 9999| dd of=/var/lib/somewhere

您可以通过 pv 管道来了解数据量和速度。

相关内容