免责声明是的，我请求你为我设计一个系统:)
我的任务是设计一个系统，每天存储约 10 TB，保留时间为 180 天。
我的第一个方法是使用 GlusterFS 并使用如下硬件设置：
系统中的单个节点：
- 1HP ProLiant DL180 G6和HP 智能阵列 P812 控制器
- 8HP D2600 带 12 个 2 TB 6G SAS 7.2K LFF 双端口 MDL HDD 24 TB 捆绑包
- 106 个磁盘用于存储（2 个操作系统磁盘、10 个数据磁盘位于服务器中，其余 96 个分布在 8 个机架上）
我需要 9 个节点来获得可以保存数据的网络存储（无需复制或本地磁盘上的 RAID）。
优点：
- 我可以从没有机架的单个服务器开始
- 通过向单个服务器添加机架来扩展（或添加服务器，只需考虑是否先添加节点或先添加机架或两者结合进行扩展）
- “无限”扩展（对于“无限”的某些定义）
缺点：
- 总的来说：我实际上不知道一旦我进入扩展的最后阶段（估计为 1.8 PB），这是否是一个可行的设置
我没有任何实际的首选方向，只是有一些使用 GlusterFS 的经验，我有一个 4 TB 系统（分布式、复制、4 个节点），已经在使用 GlusterFS。
我很确定这个设置运行 Hadoop/Gluster/Netapp/EMC/Hitachi/EveryoneElse 没有太大区别，但用例是（击鼓)：
ls -ltr | grep 'something' | xargs grep somethingelse
是的，这很可怕。我试图说服人们真正对这些数据进行分析，但似乎不会发生。（好吧，情况并没有那么糟糕，但是那些人会使用一些“分析”系统上的简单 ssh 会话手动进入某个目录，递归地查看一些文件，然后确定数据是否正常，现在我写出来这听起来更糟糕了）
我愿意听取任何意见，我们公司确实有人在运行“大存储”（例如，一个备份系统有 2PB），我很乐意使用他们已经运行的任何系统。但我还必须证明他们做的是正确的事情（请不要问这个问题，这是一个政治问题，我会把我的数据托付给存储团队，我不知道为什么我必须重复这项工作）
思考如何实际对数据进行分析的问题显然超出了范围。
我参加了无数次会议，提出了从 Splunk 到内部开发的分析工作（有或没有 Map/Reduce 系统）等所有问题。但人们对此不感兴趣。人们关心的只有：
- 10TB / 天
- 保留数据 180 天
- 使其高度可用（尚未完全定义，但大约为 99.9、99.99......）
答案1
好吧，你没有提到预算……所以现在就买吧。这种规模的数据可能应该留给有该领域经验的团队。有支持和可以大声呼喊的人真好 :)
http://www.racktopsystems.com/products/brickstor-superscalar/
http://www.racktopsystems.com/products/brickstor-superscalar/tech-specs/
4 x Storage Heads BrickStor Foundation Units
10 x BrickStor Bricks (36 x 3.5″ Bay JBOD)
2 x 16-port SAS switch
1 x pullout rackmount KVM
1 x 48U Rack
1 x 10Gb Network Switch (24 x 10Gb non-Blocking)
NexentaStor Plug-ins:VMDC, WORM, HA-cluster or Simple-HA
Onsite installation 5-days
24/7/365 day email and phone support
Onsite Support
由于您描述的应用程序似乎确实不属于集群存储领域（考虑到用例），请使用 ZFS。您将获得无穷可扩展性。您将有机会将部分压缩卸载到存储系统，并且可以告诉所有朋友 :)
不仅如此，L2ARC 缓存（使用 SSD）将使热数据能够以 SSD 速度进行分析。
编辑：另一个基于 ZFS 的解决方案 -http://www.aberdeeninc.com/abcatg/petarack.htm
此外，Red Hat 现已进入横向扩展存储行业。
答案2
正如 MDMarra 提到的那样，您需要 Splunk 来实现这一点，我是它的忠实用户和粉丝，对于与您讨论的非常相似的容量，它可以立即为您节省购买大量存储空间的麻烦，并降低所有复杂性。如果与 Splunk 一起使用，一台大小合适的服务器（可能最多 150-200TB）就可以完成这项工作，它的即时索引非常适合这种事情，并且它的搜索功能远远超过您自己管理的任何东西。当然它不是免费的，但我不会考虑其他任何东西。