我正在评估图像网络服务器的选项特拉列夫(以防它生长)。
我正在调查Hetzner 的存储线。
他们提供具有 7 个和 15 个驱动器的存储服务器。
7 个驱动器带有软件 raid,15 个驱动器带有硬件 raid。
假设他们拥有用于 15 个驱动器的良好硬件 raid 控制器(良好的监控),那么选择这样的服务器而不是商品硬件的挑战是什么?
可能出现的问题:
- ubuntu 12.04 的分区大小可能最大限制为 2GB(他们仍然不提供 ubuntu 14.04 LTS)
- 因为在另一个数据中心进行备份是一个好主意,问题是其他公司是否提供类似的备份服务器来进行备份,对此有什么想法吗?
- 由于我将提供图像,并假设 HD 的读取传输速率为 60MB,即大约 500MBps,因此服务器可能会在 raid 10 中使用超过 4 个驱动器来访问 1Gbit 网络端口
- 假设平均图像大小为 400KB,出站流量为 500Mbit,则服务器每秒可以提供 156 张图像,即每秒约 5 个用户(不包括机器人流量)
- 如果平均消耗 300MBit 的出站流量,那么看起来服务器每月将产生 88TB 的流量 - 使用公式 (300000000 / 8 * 60 * 60 * 24 * 30) / (1024 * 1024 * 1024 * 1024)
- 由于 Google Cloud Storage 每 TB 的价格约为 20 美元,存储 52TB 的备份将花费约 1100 美元,这使得云存储服务比拥有服务器副本要昂贵得多
因此,看起来 15 个驱动器服务器可能会遇到 1Gbit 网络瓶颈(假设从系统中删除了从未读取的质量较差的图像)。在这种情况下
因此,我的分析表明,使用商品硬件(即 4x2TB)的风险较小:
- 降低达到网络限制的风险
- 更便宜地备份到其他数据中心的另一种商品硬件
我遗漏了什么吗?
答案1
选择这样的服务器而不是商品硬件有哪些挑战?
啊?抱歉,但 Hetzner 并不是一家奇迹店。他们所有的服务器都运行商品硬件。他们使用的这些 raid 卡也是商品硬件。
他们可能会进行硬件突袭,因为在 15 张光盘设置中,他们可能运行 SAS 背板,而使用带有 SAS 连接器的主板会限制它们。
因此,15 台驱动器服务器可能会达到 1Gbit 网络瓶颈
您是业余爱好者吗?一台只有 1 个驱动器的机器可能会遇到微不足道的 1gbit 网络瓶颈 - 地球上的每个 SSD 每秒传输的数据都超过 100 兆字节。
你真正错过的是现实的检验。
你们世界中的“商品硬件”似乎是“家庭用户购买的低端产品”。
谷歌给出:
商品计算是利用大量已有的计算组件进行并行计算,以低成本获得最大数量的有用计算。它是在商品计算机中完成的计算,而不是高成本的超级微型计算机或精品计算机。...
SAS 背板、硬件 RAID、SAS 磁盘都是商品硬件。商品硬件的定义是“分布广泛,易于通过常规渠道获得”。现在,如果您忽略街角的小电脑店,查看一些较大的商品输出(亚马逊、新蛋),您会在那里找到所有这些东西。商品的定义不是“为家庭使用和低端打造的东西”。
恕我直言,您面临的挑战还处于非常低的水平。2 GB 分区?严重吗?IOs Linux 真的落后那么远吗?我以为 ZFS 等是一流的。
由于我将提供图像,并假设 HD 的读取传输速率为 60MB,即大约 500MBps,因此服务器可以使用 1Gbit 网络端口,在 raid 10 中假设平均图像大小为 400KB,出站流量为 500Mbit,则服务器每秒可以提供 156 张图像,即大约每秒 5 个用户(不包括机器人流量)
希望您不是管理员。您说 MB/S 就好像磁盘是 SSD,随机访问无关紧要。当您达到每秒 20 个请求时,您可能很幸运能从这些磁盘中获得 10MB/S - 可能要少得多。移动磁头需要花费。随机图像访问就是磁头移动。
由于 Google Cloud Storage 每 TB 的价格约为 20 美元,存储 52TB 的备份将花费约 1100 美元,这使得云存储服务比拥有服务器副本要昂贵得多
是的。你怎么没早点意识到这一点? ;) 任何云在不间断使用时都非常昂贵。话虽如此,AMazon Glacier 可能更便宜……但没有什么比获得一些本地磁盘进行备份更好的了。