推荐的视频流服务器存储系统

Question 1

1.我可以安装 Linux 并在 RAID 中配置几个快速 HDD 吗？我可以获得与一些昂贵的存储解决方案相同的性能吗？

不。我至少会选择一款不错的硬件 RAID 控制器（我选择 Adaptec）。主要原因是您的 Linux 安装在调优方面很糟糕，因为它缺乏优化的硬件。也就是说：您无法安全地使用写回缓存，因为如果电源发生故障，磁盘可能会崩溃。您可以在 Adaptec 5805Z 或带有 BBU 的 5805 中这样做，因为如果电源发生故障，板载缓存是安全的（一段时间或更长时间 - BBU 运行 2 天，Z 型号将数据写入闪存模块）。顺便说一句，从技术上讲，它仍在运行 Linux（在控制器上）。

2. 我需要多少个 CPU、主板和其他？

无关紧要。除非您进行压缩，否则您不会受到 CPU 限制。任何 CPU 都应该足够，即使是 ATOM。同样，除非您做的不仅仅是将流传递到光盘，否则您不太可能遇到 CPU 问题。

3. 最适合此用途的硬盘品牌是哪个？

Western Digital。更具体一点：Velociraptors，如果您需要性能不错、价格合理的话。这是唯一一款 10k RPM 驱动器，比价格高出很多的 SAS 驱动器要便宜得多。根据您的 IO 需求，您可以使用更大、更慢的驱动器。这必须经过测试，并且很大程度上取决于您的编码。

从 SuperMicro 购买一台服务器 - 2 个机架单元高，可放置 24 个硬盘（2.5 尺寸）。有足够的扩展空间。我可能会从 RAID 10 配置中的 8 个磁盘开始。多个机架可以相互从属。需要 SAS RAID 控制器（如上面提到的 Adaptecs）。

4.硬盘有水冷吗？

是的，但这与服务器完全无关。这主要是因为 osmoen 想要制作一台全水冷的静音 PC，并且希望在不使用风扇的情况下消除 HD 的热量。

Answer

1.我可以安装 Linux 并在 RAID 中配置几个快速 HDD 吗？我可以获得与一些昂贵的存储解决方案相同的性能吗？

不。我至少会选择一款不错的硬件 RAID 控制器（我选择 Adaptec）。主要原因是您的 Linux 安装在调优方面很糟糕，因为它缺乏优化的硬件。也就是说：您无法安全地使用写回缓存，因为如果电源发生故障，磁盘可能会崩溃。您可以在 Adaptec 5805Z 或带有 BBU 的 5805 中这样做，因为如果电源发生故障，板载缓存是安全的（一段时间或更长时间 - BBU 运行 2 天，Z 型号将数据写入闪存模块）。顺便说一句，从技术上讲，它仍在运行 Linux（在控制器上）。

2. 我需要多少个 CPU、主板和其他？

无关紧要。除非您进行压缩，否则您不会受到 CPU 限制。任何 CPU 都应该足够，即使是 ATOM。同样，除非您做的不仅仅是将流传递到光盘，否则您不太可能遇到 CPU 问题。

3. 最适合此用途的硬盘品牌是哪个？

Western Digital。更具体一点：Velociraptors，如果您需要性能不错、价格合理的话。这是唯一一款 10k RPM 驱动器，比价格高出很多的 SAS 驱动器要便宜得多。根据您的 IO 需求，您可以使用更大、更慢的驱动器。这必须经过测试，并且很大程度上取决于您的编码。

从 SuperMicro 购买一台服务器 - 2 个机架单元高，可放置 24 个硬盘（2.5 尺寸）。有足够的扩展空间。我可能会从 RAID 10 配置中的 8 个磁盘开始。多个机架可以相互从属。需要 SAS RAID 控制器（如上面提到的 Adaptecs）。

4.硬盘有水冷吗？

是的，但这与服务器完全无关。这主要是因为 osmoen 想要制作一台全水冷的静音 PC，并且希望在不使用风扇的情况下消除 HD 的热量。

Question 2

我收回我原来的回答，因为我把 125 兆位和 125 千兆位搞混了。我真丢脸。

但当然，这会让一切变得更容易一些:)

因此，对于你的问题：

有点。您可以获得相当不错的性能，对于这种情况来说应该绰绰有余。不过，我建议使用尽可能多的磁盘，并且最好使用硬件 raid 控制器。这可以带来诸多好处，其中包括轻松热插拔损坏的磁盘，而不会对操作系统造成任何问题。顺便说一句，购买带有热插拔驱动器托架的机箱。
这主要取决于你想做什么。服务器级主板配有两个 4 核 CPU 插槽和合适的 CPU，仅用于存储就足够了。不过，我建议使用大量 RAM，以便在由于某种原因写入磁盘短暂停滞时有缓冲区。至少考虑 16 或 24GB。
在这种情况下，访问时间很重要，因此您应该选择至少 10k RPM 或更高转速的服务器级硬盘，甚至 15k。容量取决于您希望保留数据多长时间（125兆您的流的总比特数最终约为50GB/小时)。
为什么要用水冷却？我不知道有任何系统可以为热插拔驱动器托架提供水冷。

Answer

我收回我原来的回答，因为我把 125 兆位和 125 千兆位搞混了。我真丢脸。

但当然，这会让一切变得更容易一些:)

因此，对于你的问题：

有点。您可以获得相当不错的性能，对于这种情况来说应该绰绰有余。不过，我建议使用尽可能多的磁盘，并且最好使用硬件 raid 控制器。这可以带来诸多好处，其中包括轻松热插拔损坏的磁盘，而不会对操作系统造成任何问题。顺便说一句，购买带有热插拔驱动器托架的机箱。
这主要取决于你想做什么。服务器级主板配有两个 4 核 CPU 插槽和合适的 CPU，仅用于存储就足够了。不过，我建议使用大量 RAM，以便在由于某种原因写入磁盘短暂停滞时有缓冲区。至少考虑 16 或 24GB。
在这种情况下，访问时间很重要，因此您应该选择至少 10k RPM 或更高转速的服务器级硬盘，甚至 15k。容量取决于您希望保留数据多长时间（125兆您的流的总比特数最终约为50GB/小时)。
为什么要用水冷却？我不知道有任何系统可以为热插拔驱动器托架提供水冷。

Question 3

您要保留录音多久？

您将以每秒约 16MB 的速度持续推送，或者每天约 1.25TB 的速度推送。

您的磁盘阵列需要很大，但速度不能太快。如果您的录制软件缓冲了一点，您甚至不会有太多的 iops。我可以很容易地看到像您提到的 Linux 软件 raid 可以处理这种负载，特别是如果您给它几 GB 的 RAM 来缓冲。这假设软件不错。

如果您不将视频转码为其他格式，则不需要太多 CPU，任何现代的英特尔/AMD 都可以。您需要千兆网络。

这品牌是一个很难回答的问题，我会获得一些冗余（raid5）并从任何知名品牌购买便宜的 SATA 磁盘。

为了冷却（和可靠性），我会购买一个可以容纳所需数量磁盘的服务器机箱。机箱将提供所需的气流以保持磁盘冷却。根据目前的信息，我认为几乎不需要使用水冷。

Answer

您要保留录音多久？

您将以每秒约 16MB 的速度持续推送，或者每天约 1.25TB 的速度推送。

您的磁盘阵列需要很大，但速度不能太快。如果您的录制软件缓冲了一点，您甚至不会有太多的 iops。我可以很容易地看到像您提到的 Linux 软件 raid 可以处理这种负载，特别是如果您给它几 GB 的 RAM 来缓冲。这假设软件不错。

如果您不将视频转码为其他格式，则不需要太多 CPU，任何现代的英特尔/AMD 都可以。您需要千兆网络。

这品牌是一个很难回答的问题，我会获得一些冗余（raid5）并从任何知名品牌购买便宜的 SATA 磁盘。

为了冷却（和可靠性），我会购买一个可以容纳所需数量磁盘的服务器机箱。机箱将提供所需的气流以保持磁盘冷却。根据目前的信息，我认为几乎不需要使用水冷。

Question 4

我建议问一下麻省理工学院的这些家伙： http://www.media.mit.edu/cogmac/projects/hsp.html

在人类语音组项目中，他们用 11 台高质量摄像机和 14 个麦克风在一所房子里录制了 3 年的语音。房子里有一个 5TB 的磁盘阵列，带有 10 个节点集群。压缩后每天积累 300GB。数据定期通过便携式驱动器传输到麻省理工学院的服务器群。

你确实拥有比他们多 100 倍的视频源，但他们仍然可能拥有重要的见解，而这些见解你很可能通过快速的电子邮件对话就能获得。他们的硬件已经使用 5 年半多了。

以下是有关该项目的 20 分钟 Ted 演讲： http://www.ted.com/talks/deb_roy_the_birth_of_a_word.html （如果时间不够，请滚动到 1 分 00 秒处并观看几分钟）。

出版物：http://www.media.mit.edu/cogmac/publications/cogsci06.pdf

Answer