我是一组一起进行模拟工作的工程师中的一员;我们在弄清楚如何存储/访问模拟输出文件方面遇到了困难。
- 每次模拟研究都会生成约 20GB 的输出文件。目前我们每周进行 1-2 次研究。
- 模拟输出文件必须可从多台本地计算机进行读/写访问。
- 一项研究的文件可能需要保留几年。
- 我们的公司规模较小,IT 预算/支持有限。
过去,我们要么将模拟输出保存在本地计算机之一上并与其他计算机共享目录,要么将模拟输出保存在可以作为驱动器安装在本地计算机上的网络位置。这两种解决方案都没有足够的空间。
什么方法适合共享/访问如此大量的数据?
答案1
假设每周进行 2 项研究,持续 52 周,那么一年就有 2 TB 的数据。这是大量的数据。
远程存储,例如亚马逊 S3如果您需要立即访问旧数据,那么这不是一个好的解决方案。但是,如果您不介意随着时间的推移下载大量数据,那么它可能是一种廉价且冗余的解决方案。
为了立即访问,您需要本地存储。网络附加存储 (网络存储) 设备将是一个不错的选择。由于您的预算有限,您可以每年添加一台设备。像这可以。设置一个,当您需要更多存储空间时,您可以购买另一个。显然,如果您愿意,您可以购买更大容量的设备。
我建议你买一个袭击支持。如果驱动器损坏,RAID 将为您提供冗余 - 换句话说,您不会丢失数据。
就我个人而言,我会选择名牌 NAS 设备。它们价格更高,但如果出现问题,您更有可能获得更好的支持。我避开便宜的型号,因为我看到人们在使用它们时遇到太多问题。一分钱一分货。
你还应该考虑将本地副本保存在 NAS 设备上,并将数据备份到低成本、慢速存储中,例如亚马逊冰川在云端。备份是你的好朋友。