Youtube 等大型网站如何进行备份?

Youtube 等大型网站如何进行备份?

Youtube 等大型网站如何进行备份?根据https://www.quora.com/Where-does-YouTube-store-so-many-videos2014 年,他们每年存储 76 PB,这个数字自那时起肯定增长了很多。是否可以备份这个数据,或者他们是否以其他方式解决了通常使用备份的问题(例如冗余度如此之高以至于它根本就不会失败)?

答案1

拥有大量磁带和磁盘。并拥有才华横溢的站点可靠性工程师来不断改进恢复流程。

阅读 Google 的 SRE 章节数据完整性:所读即所写. 恢复智慧适用于许多环境。复制和冗余不是可恢复性。提供恢复系统,而不是备份系统

本章还讨论了大规模恢复所面临的挑战。由于没有 YouTube 恢复案例研究,因此不清楚 YouTube 是否已将完整备份保存到外部媒体。但有一个 Google Music 案例研究。它记录了恢复 50 万首曲目需要 5,000 盘磁带,以及第二阶段修复漏洞和故障的过程。

对我来说,最令人印象深刻的不是磁带数量之多,而是定制开发。识别并找到 50 万个文件,从奇偶校验中恢复故障磁带,并告诉用户客户端软件上传丢失的轨道。

(例如冗余度如此之高以至于它根本不可能失败)

这是非常危险的错误。任何东西都可能失败或被意外删除。而且庞大的并行系统并不简单。该 SRE 章节的结论是:

认识到不仅仅是任何事物可能会出错,但一切出错的情况是应对任何真正紧急情况的重要准备一步。

相关内容