我指的是文件共享网站，例如 megaupload.com、rapidshare.com 和软件下载网站，例如 download.com、filehippo.com。
它们需要存储数以万亿字节的数据，也需要如此大的带宽。我不会将它们与 Google、Yahoo、Amazon 等公司进行比较，因为它们都是大公司，并且拥有自己的庞大硬件设置。
他们 (megaupload/filehippo) 如何存储如此大量的数据？它们使用了哪些技术和硬件架构？
PS：我的兴趣是想创建自己的像filehippo.com这样的软件下载网站。
答案1
事实上，你所看到的并不是现实:)
文件共享网站并没有大量的 TB 数据，但大约有 10-500 TB 的数据。您可能听说过许多托管公司为您提供无限空间，这是一个大谎言。因为没有无限空间这种东西。他们只有几百 TB 的存储空间，而且可以肯定的是，并非每个用户都有 TB 的数据存储在网络空间中。大多数用户托管 100MB 到 2-5GB 的数据/网站。重度数据用户的数量相当少。
说到他们使用什么？他们只是拥有 SAN（存储区域网络），其中每台服务器都有大约 4TB 到 20TB 的磁盘空间。它们都通过光纤通道或千兆以太网连接。在前端，他们有 Web 应用程序，利用这个 SAN 网络的空间。
由于您要从头开始，因此对于前端 Web 应用程序，您可以使用任何适合您的高端服务器，而在后端，您可以使用 FreeNAS（免费的开源企业级存储管理操作系统）构建自己的 NAS/SAN。您可以在其中添加大量 TB 的廉价驱动器，这样您的几 TB 的小型网络就准备就绪了。根据流量和使用情况，您可以根据需要继续添加更多空间。
答案2
嗯，他们有……很多硬盘。
这Backblaze 博客讨论了他们如何做类似的事情（他们销售无限的备份存储）。