![关于存档解决方案的一般建议。约 15tb 并且还在增长。](https://linux22.com/image/627328/%E5%85%B3%E4%BA%8E%E5%AD%98%E6%A1%A3%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%E7%9A%84%E4%B8%80%E8%88%AC%E5%BB%BA%E8%AE%AE%E3%80%82%E7%BA%A6%2015tb%20%E5%B9%B6%E4%B8%94%E8%BF%98%E5%9C%A8%E5%A2%9E%E9%95%BF%E3%80%82.png)
我需要一个更好的存储和归档系统来存储我的小公司的文件。具体来说,这些文件是已完成的视频项目。除了时间和成本限制之外,阻碍我的是我不相信我所考虑的任何解决方案。因此,我列出了问题和我的想法。我很感激任何意见。
预算: 我相信要花应得的钱。话虽如此,我们是一家小企业。我希望我能以不到 5000 美元甚至更多(约 1-3000 美元)的价钱摆脱困境。这可能是一个白日梦。告诉我吧。
问题:
- 原始视频文件大小非常大。到目前为止,我们可能已经积累了 10+TB 的数据,并且增长速度非常快。
- 视频编辑需要快速读取/写入文件,因此中央或基于云的文件服务器速度不够快。因此,我们可能需要为旧项目提供解决方案,而当前项目必须保留在本地。
- 我们希望获得某种形式的冗余和异地解决方案。
我们目前所做的:
- 我们使用大容量、高质量的外部硬盘。
- 我们总是成对购买,然后手动复制内容。换句话说,我们先处理一个文件,然后将文件复制到另一个文件,作为备份/备用。
- 这些 HD 的速度足够快,可以通过 firewire800 或 USB3 直接工作。
- 一旦填满,我们就把它们放在一边。
当前解决方案存在什么问题:
- 尽管数据在两个驱动器上重复,但这些驱动器并未“备份”或存储在异地。
- 跨这么多外部硬盘进行组织非常困难。哪个项目在哪个驱动器上?等等。
- 最终我们将拥有数量惊人的硬盘。
- 复制不是 RAID。
选项:
本地服务器
- 购买机架式服务器和机架式硬盘阵列外壳,例如 Norco,(SAS)(20 个托架)。
- 所有视频文件都将存储在这台服务器上。我们可以安装并支付云服务来备份这台计算机/服务器。CrashPlan 在 Linux 上运行,对数据量没有限制。硬盘将是连接到服务器的物理驱动器,因此我们可以绕过 CrashPlan 等公司制定的“禁止 NAS”规则。它不是个人电脑,因此同步可以全天候运行。这将解决异地问题。
- 我们不需要使用 CrashPlan 之类的在线备份服务,而是可以编写脚本将这些文件同步到 Amazon Glacier 帐户。
- 一项政策是,视频制作人员在处理当前项目时使用外部硬盘,但项目完成后必须将项目放到这台新电脑上。换句话说,继续使用外部硬盘处理当前项目,并将存档项目存储在这台服务器上。
基于云的备份服务(CrashPlan.com、BackBlaze.com、Carbonite.com)
- 通常只允许您备份物理连接到计算机的外部硬盘驱动器。(没有 NAS 或网络驱动器)。
- 通常,他们希望备份的外部驱动器保持连接到您的计算机,并且所有数据都保留在驱动器上。如果您几个月不连接外部硬盘,备份会怎样?如果您通过删除旧项目来清理空间,它们也会从在线服务中删除。
- 要求我们的用户将外部硬盘连接到他们的计算机,直到所有数据都传输到云端。对于大型项目来说,这可能需要数周时间。
- 由于互联网传输速度,恢复项目会非常慢。
- 这些云备份帐户通常只针对一个用户/一台计算机。因此,如果硬盘由一个用户备份。然后第二个用户负责该项目,这意味着什么?
大型 NAS
- NAS 是“网络区域存储”。您可以插入尽可能多的硬盘。它会对它们进行突袭。您可以通过网络连接或 USB3/Firewire 访问它。
- 大多数都内置有操作系统。因此您无法运行其他软件,如基于云的备份服务。您也无法进行任何自定义或运行自己的软件。您得到的只是您所购买的。
- 大型 NAS 非常昂贵,而且实际上并没有那么大。您找不到很多超过 4 个托架的 NAS。目前大型 HD 为 3TB。因此 4 个托架的存储空间可能在 <12TB 左右。对于未来来说并不太方便。
其他想法是:
- 磁带备份。
- 只需将旧项目直接存档到 Amazon Glacier,无需构建本地服务器来存储它们。
谢谢你的建议!!!Jed
答案1
磁带。就这么简单。Quantum 有一个 SuperSTore 系统,可以处理更多东西,而且我见过它们的价格低于 5000 美元——新品。好处是你可以取出磁带进行存储,因此扩展它将非常经济高效,而且磁带使用寿命长。
答案2
首先,我建议不要使用 Glacier。听起来不错,但实际恢复大量数据的成本就高得吓人了。 这是一个非官方的计算器,你可以用它来计算冰川的储存和检索成本,并自行判断。从 Glacier 恢复数 TB 的数据是一个相当不具吸引力的前景。
其次,我建议,对于简单的备份目的,您可以使用带有大量驱动器的单个 NAS 服务器。在我看来,您只考虑了家庭和小型办公室 NAS 选项,您应该考虑合适的 NAS 产品。我更喜欢戴尔,我想指出戴尔的PowerVault NAS 服务器,但 HP、IBM、SuperMicro 以及几乎所有其他公司都提供类似的产品。我家里有一台较旧的 Dell PowerVault NX,用作我的媒体库,里面有 12 个 2 TB 近线 SAS 磁盘。现在也有 4 TB 近线 SAS 驱动器,因此您可以随时用它们填满合适的 NAS 服务器。(或者购买几个 NAS 服务器。)
您可以轻松地在本地局域网上使用其中一个,安装您选择的备份软件(例如 Bacula,如果你喜欢免费,或者如果您需要供应商支持,可以选择十几种商业产品中的任何一种)并使用大型 RAID 卷作为备份目标。然后,您可以使用云备份服务来备份此 NAS 服务器,并享受本地和远程备份的好处。同样,这是我在家做的。合适的 NAS 服务器,将数 TB 的数据备份到云服务。
当然,您也可以使用磁带...购买 LTO 磁带驱动器或库 - 就我个人而言,我会竭尽全力避免使用磁带或光盘介质,但它们是合法的选择,并且可能比磁盘到磁盘解决方案更便宜。
最后,我建议你需要考虑云备份服务的主要缺点,即互联网管道的大小。通过互联网连接上传数 TB 的数据可能需要数周或数月的时间,并且/或者需要向 ISP 收取额外费用。因此,虽然它们是备份数据(甚至是企业数据)的可行选择,但大多数人在遇到这种情况之前都不会考虑这一限制。
答案3
我认为这取决于你的预算。如果你只能花约 6,000 美元,你可能需要自己构建 NAS。我会看看 nas4free 以及一台服务器的价格。如果你能花 20,000 美元,你可能可以在服务器上安装一堆磁盘和一张不错的 RAID 卡或 Linux 下的软件 RAID 等。
大约 4 万美元,您就可以拥有一个高端 1U(IBM x3550 M4、2 端口 Emulex 10GBit 网卡、4 Gbit 网卡、128GB RAM、2 个本地 10k SAS 磁盘),带有 10Gbit iSCSI,连接到 Infortrend SAN 盒,盒内有 24 个 4TB SAS 磁盘,您可以随意分割。RAID6 是一种合理的配置。
磁带也是一个好主意,但我不知道它到底有多便宜。这取决于你得到的库有多大。如果 48 磁带库不错,你可以再次使用 1U 和外部 SAS 卡(可能花费 3 万美元)和 2 个 LTO6 驱动器来实现这一点……但你需要软件许可证来管理磁带备份或类似的东西。我只使用过 NetBackup,它可能不太适合你。只是不要忘记,你可能希望以某种方式在软件中驱动磁带库。但是一旦你离开库,不要忘记去寻找磁带并加载它,以及用于访问的暂存区……