Azure Managed Lustre 或其他允许 Ubuntu VM 对云中的共享块存储执行并行读/写操作的设置?

Azure Managed Lustre 或其他允许 Ubuntu VM 对云中的共享块存储执行并行读/写操作的设置?


我设置了 8TB 且最大吞吐量为 4GB/s 的 Azure Managed Lustre。

跟随官方文档对于Ubuntu 20.04大小的虚拟机Standard_L8as_v3,我设法挂载文件系统。

然后我使用以下命令测试我的设置:dd写入 :fio

dd if=/dev/zero of=<mount_directory>/testfile bs=1G count=5 oflag=dsync && sync && echo "Write Test Completed"

fio --name=write_test --directory=<mount_directory> --ioengine=libaio --rw=write --bs=1M --direct=1 --size=1G --numjobs=1 --runtime=60 --group_reporting

阅读:

dd if=<mount_directory>/testfile of=/dev/null bs=1G iflag=dsync && echo "Read Test Completed"

fio --name=read_test --directory=<mount_directory> --ioengine=libaio --rw=read --bs=1M --direct=1 --size=1G --numjobs=1 --runtime=60 --group_reporting

我的速度非常低:读写速度都约为 100MB/s。这真的是该产品提供的速度吗?我肯定我做错了什么。这不可能是像此类文件系统lustre提供的速度。

我已经在很多地方搜索过了(Youtube、官方文档、Azure 高性能计算 (HPC) 博客、Cloud Academy、A Cloug Guru、Coursera、edX、Udemy、codementor.io),我找不到任何人使用该产品的演示,也找不到愿意付费向我展示如何配置此类设置的人。我知道这是新的,但没有人需要这样的解决方案吗?每个人都在安装自己的文件系统并在内部进行管理吗?

顺便说一句,关于具有文件系统和管理工具的自定义解决方案,我还没有找到任何当代的演示或演练,这些演示或演练比 7 年前更新,涉及在 Azure 上作为节点的 Ubuntu VM 之间实现具有集群感知文件系统的共享块存储。

例如,我尝试查找有关如何创建由OCFS2GFS2文件系统(或ceph,或gclusterfs)组成的 Azure 设置(用于共享数据磁盘)以及 Pacemaker 作为集群管理系统的说明,但是什么也没找到。这似乎对于人们在一个 VM 中训练神经模型,然后在另一个生产 VM 中提供该数据的设置至关重要,但我仍然找不到任何东西!我一定是错过了什么。有人有使用 Azure 或其他云提供商的此过程的演练吗?

最后说明:为什么 Azure 称“共享磁盘”为共享?必须有一个集群管理系统真正共享“共享”磁盘?如果没有集群管理系统,所有“共享磁盘”只能挂载到不同的虚拟机,而虚拟机只能从这些磁盘读取数据,而不能像写入磁盘一样写入数据,那么这里的“磁盘”怎么会是共享的呢?

无论如何,我希望有人能告诉我关于 Azure Managed Lustre 或任何允许 Ubuntu VM 对云中的共享块存储执行并行读/写操作的当代设置,包括此设置的基准测试,我很乐意支付进行这样的演示。

相关内容