![硬件/软件设计:2PB 存储](https://linux22.com/image/576644/%E7%A1%AC%E4%BB%B6%2F%E8%BD%AF%E4%BB%B6%E8%AE%BE%E8%AE%A1%EF%BC%9A2PB%20%E5%AD%98%E5%82%A8.png)
免责声明是的,我请求你为我设计一个系统:)
我的任务是设计一个系统,每天存储约 10 TB,保留时间为 180 天。
我的第一个方法是使用 GlusterFS 并使用如下硬件设置:
系统中的单个节点:
- 1HP ProLiant DL180 G6和HP 智能阵列 P812 控制器
- 8HP D2600 带 12 个 2 TB 6G SAS 7.2K LFF 双端口 MDL HDD 24 TB 捆绑包
- 106 个磁盘用于存储(2 个操作系统磁盘、10 个数据磁盘位于服务器中,其余 96 个分布在 8 个机架上)
我需要 9 个节点来获得可以保存数据的网络存储(无需复制或本地磁盘上的 RAID)。
优点:
- 我可以从没有机架的单个服务器开始
- 通过向单个服务器添加机架来扩展(或添加服务器,只需考虑是否先添加节点或先添加机架或两者结合进行扩展)
- “无限”扩展(对于“无限”的某些定义)
缺点:
- 总的来说:我实际上不知道一旦我进入扩展的最后阶段(估计为 1.8 PB),这是否是一个可行的设置
我没有任何实际的首选方向,只是有一些使用 GlusterFS 的经验,我有一个 4 TB 系统(分布式、复制、4 个节点),已经在使用 GlusterFS。
我很确定这个设置运行 Hadoop/Gluster/Netapp/EMC/Hitachi/EveryoneElse 没有太大区别,但用例是(击鼓):
ls -ltr | grep 'something' | xargs grep somethingelse
是的,这很可怕。我试图说服人们真正对这些数据进行分析,但似乎不会发生。(好吧,情况并没有那么糟糕,但是那些人会使用一些“分析”系统上的简单 ssh 会话手动进入某个目录,递归地查看一些文件,然后确定数据是否正常,现在我写出来这听起来更糟糕了)
我愿意听取任何意见,我们公司确实有人在运行“大存储”(例如,一个备份系统有 2PB),我很乐意使用他们已经运行的任何系统。但我还必须证明他们做的是正确的事情(请不要问这个问题,这是一个政治问题,我会把我的数据托付给存储团队,我不知道为什么我必须重复这项工作)
思考如何实际对数据进行分析的问题显然超出了范围。
我参加了无数次会议,提出了从 Splunk 到内部开发的分析工作(有或没有 Map/Reduce 系统)等所有问题。但人们对此不感兴趣。人们关心的只有:
- 10TB / 天
- 保留数据 180 天
- 使其高度可用(尚未完全定义,但大约为 99.9、99.99......)
答案1
好吧,你没有提到预算……所以现在就买吧。这种规模的数据可能应该留给有该领域经验的团队。有支持和可以大声呼喊的人真好 :)
http://www.racktopsystems.com/products/brickstor-superscalar/
http://www.racktopsystems.com/products/brickstor-superscalar/tech-specs/
4 x Storage Heads BrickStor Foundation Units
10 x BrickStor Bricks (36 x 3.5″ Bay JBOD)
2 x 16-port SAS switch
1 x pullout rackmount KVM
1 x 48U Rack
1 x 10Gb Network Switch (24 x 10Gb non-Blocking)
NexentaStor Plug-ins:VMDC, WORM, HA-cluster or Simple-HA
Onsite installation 5-days
24/7/365 day email and phone support
Onsite Support
由于您描述的应用程序似乎确实不属于集群存储领域(考虑到用例),请使用 ZFS。您将获得无穷可扩展性。您将有机会将部分压缩卸载到存储系统,并且可以告诉所有朋友 :)
不仅如此,L2ARC 缓存(使用 SSD)将使热数据能够以 SSD 速度进行分析。
编辑:另一个基于 ZFS 的解决方案 -http://www.aberdeeninc.com/abcatg/petarack.htm
此外,Red Hat 现已进入横向扩展存储行业。
答案2
正如 MDMarra 提到的那样,您需要 Splunk 来实现这一点,我是它的忠实用户和粉丝,对于与您讨论的非常相似的容量,它可以立即为您节省购买大量存储空间的麻烦,并降低所有复杂性。如果与 Splunk 一起使用,一台大小合适的服务器(可能最多 150-200TB)就可以完成这项工作,它的即时索引非常适合这种事情,并且它的搜索功能远远超过您自己管理的任何东西。当然它不是免费的,但我不会考虑其他任何东西。