我的项目使用多台处理机和一台存储机。目前存储由 MSSQL filetable 共享文件夹组织。存储中的每个文件在数据库中都有一些元数据。
处理机执行任务时需要从存储中获取文件及其元数据。完成任务后,处理机将结果数据放回存储中。然后另一台处理机将其取出,后者也会生成一些文件并将其放回存储中。等等。
一切都很好,但随着处理机器数量的增加,我发现存储机器硬盘性能遇到了瓶颈。
因此,我希望处理机器将文件放入分布式文件系统 (FS),以减轻存储机器的负载,这样它们就可以相互获取数据,而不仅仅是存储机器。
您能推荐一种满足我需求的分布式文件系统吗?或者有没有其他方法可以解决这个问题?
文件系统中一次的数据量有几 TB。(存储可以处理,但处理器不能)。数据一致性至关重要。读写策略是:一旦文件被写入 - 它就保持不变,只能被删除,但不能被修改。
我当前的平台是 Windows,但如果另一个平台上有更方便的解决方案,我准备切换它。