我的实验室正在设置一个小型服务器，用于保存我们小组当前正在开展的项目的数据（主要是视频和图像数据，以及一些文档）。从历史上看，一个研究项目结束后，数据最终会被随意地存档在一个硬盘驱动器中，或者一大堆 DVD（或以前是 CD），和/或一些视频最终被存入索尼 DV 磁带或甚至 VHS 磁带中（这个实验室自 90 年代初以来一直活跃），或者是以上所有情况的混合......
问题：(1) 将它们全部整合到相同的格式和存储介质中的最佳方法是什么？(2) 对于偶尔访问的数据，最好的长期存档介质是什么（比如 30 年以上？）？不幸的是，我们没有企业级预算（我们只是一个约 10 人的实验室），所以不能做花费数十万美元的事情。
谢谢！
PS 考虑到我们的旧视频和图像分辨率较低，但最近的视频和图像规模巨大，我认为我们谈论的真正旧数据大约为 30~40 TB，最近数据大约为 10~20 TB，然后每年增加约 5 TB。
答案1
不幸的是，没有最好的方法。30 年的数字媒体存档是一个非常困难的问题，需要定期投资。30 年后唯一保证可读的格式是 ASCII 和 UTF8，它们不是视频格式。存储格式会发生变化，我们 30 年前使用的 8 轨卷盘磁带现在几乎无法读取，即使数据仍在磁带上（有一个有趣的故事，NASA 重建了一个 40 年前的磁带驱动器，以获取一些新恢复/发现的阿波罗数据磁带）。最好的办法是定期（我想每 5 年一次）评估您的存档环境，并留出足够的预算将旧格式转换为新格式。
你可能比我更了解，但视频领域正在迅速变化。现在可以进行实时在线编辑，而 10 年前只有非常优秀的设备才能做到这一点。谁知道 30 年后情况会如何呢。
- 将存档窗口设置为 5 年。
- 从短期来看，一个较大的存储阵列就足够了（
- 又大又慢的 50TB 磁盘的价格可以低于 70,000 美元，甚至可能更低。
- 一台 LTO5 磁带驱动器和 50 盘磁带 (价值远超 50TB) 的价格不到 15,000 美元。
- 从短期来看，一个较大的存储阵列就足够了（
- 使用什么格式存储视频取决于您。
- 开始查找并将所有旧资料转换到这个新存储空间中。
- 五年后，对您的档案环境进行另一次全面评估。
- 你使用什么格式？
- 什么是较新的格式？
- 哪些编解码器似乎是死胡同，以及您用这种方式编码存储了哪些媒体？
- 决定如何迁移到更新的存储方法（数据格式、磁盘/磁带/其他），并进行适当的支出。
- 重复6次。
那应该可以让你活到30年。
答案2
我完全同意 sysadmin1138 的帖子，但有一个警告 - 我认为你没有足够的预算来真正实现你的目标。
您需要创建 5 个主要功能；
- 标准化的内容和目录政策 - 我知道您想将所有内容都存储在一种格式中，但您真的应该考虑两种格式 - 用于图像的 PDF 和用于视频的 H.264 - 两者都是具有多平台代码的长期支持格式，由于世界各地现有的使用情况，它们以目前的形式几乎肯定会得到一方或另一方 25-50 年的支持。
- 用于索引和发布内容的目录或 CMS。
- “内容采集”系统 - 它将采集您的所有媒体，打包、编码、存储并更新每条新内容的目录。您还需要进行手动或自动内容质量检查。
- 主要内容存储 - 它将有两个主存储块；一个小块用于在转码/检查时保存原始内容，另一个大得多的块用于保存“附近”的内容。这是我遇到的 RAID 6 的唯一有效用途之一，但请尝试在此处使用具有 24x365“占空比”的企业级质量磁盘。
- 长期备份系统 - 这是真正需要花钱的地方，您需要选择一家能够提供真正长期备份功能的供应商。如果我现在这样做，我仍然会选择磁带而不是磁盘，纯粹是出于数据寿命的原因，也许 IBM 在这方面有很多经验。您还需要考虑需要定期进行磁带恢复和数据验证，这意味着您需要第三个存储块，其大小至少与您拥有的最大磁带一样大 - 当然还需要验证系统。除此之外，您还需要确保您使用的备份软件也会存在很长时间，*nix 上的 TAR 之类的东西可能会存在一段时间，但它可能无法在功能上满足您的需求，因此请确保您的磁带供应商不会忽视这一点。
所以你想做的事是可以做到的，在过去二十年左右的时间里，我自己已经做过很多次了——但恐怕没有一次是便宜的。
祝你好运。
答案3
其他人已经给出了关于如何备份媒体的好建议。我建议你花点时间看看国会图书馆的指导方针：
http://www.digitalpreservation.gov/formats/index.shtml
您还可以考虑构建一个便宜的白盒 ZFS 阵列。您可能可以做一些事情来满足您的需求，花费不到 10,000 美元。当驱动器坏掉时，用更大的驱动器替换它们，这样您的存储容量就会随着数据的生成而增长。这可能会让您使用很长一段时间，当它变旧时，您可以用更高容量的设备替换它。这样做的好处是您的数据在线（因此可以根据需要访问），并且相对而言可以很好地防止位腐烂，当您拥有这么多数据时，位腐烂是一个严重的问题。
这里整合了一个不错的构建选项：
答案4
请注意，如果您以有损格式存储数据，然后转换为另一种有损格式，然后再转换为另一种格式，则每次转换时视频质量都会下降。
下面谈论的是音频，但一般来说同样适用：
您可以将任何音频格式转换为 Ogg Vorbis。但是，从一种有损格式（如 MP3）转换为另一种有损格式（如 Vorbis）通常不是一个好主意。MP3 和 Vorbis 编码器都通过丢弃您可能听不到的音频波形部分来实现高压缩率。但是，MP3 和 Vorbis 编解码器非常不同，因此它们各自都会丢弃音频的不同部分，尽管肯定会有一些重叠。将 MP3 转换为 Vorbis 涉及将 MP3 文件解码回未压缩格式（如 WAV），然后使用 Ogg Vorbis 编码器重新压缩。解码后的 MP3 将缺少 MP3 编码器选择丢弃的原始音频部分。然后，Ogg Vorbis 编码器将在压缩数据时丢弃其他音频组件。最好的结果是 Ogg 文件听起来和您的原始 MP3 一样，但最有可能的是，生成的文件听起来会比您的原始 MP3 更差。在任何情况下，您都不会得到听起来比原始 MP3 更好的文件。
由于许多音乐播放器可以同时播放 MP3 和 Ogg 文件，因此您没有必要将所有文件都转换为一种格式或另一种格式。如果您喜欢 Ogg Vorbis，那么我们鼓励您在从原始无损音频源（如 CD）编码时使用它。从原始音频源编码时，您会发现您可以制作比 MP3 更小或质量更好的 Ogg 文件（或两者兼而有之）。
（如果您一定要从 MP3 转换为 Ogg，Freshmeat 上有几个可用的转换脚本。）
http://www.vorbis.com/faq/#transcode
因此，最好选择一种无损格式，因为一旦选择了一种有损格式，就只能使用这种格式了。