视频后期制作存储服务器 - 通过 SMB 向 ZFS 池传输较小文件(1-2M)的速度较慢。(CinemaDNG 格式)

视频后期制作存储服务器 - 通过 SMB 向 ZFS 池传输较小文件(1-2M)的速度较慢。(CinemaDNG 格式)

我是一名摄像师 OP/视频编辑,但我负责管理小型制作公司两人团队的后期基础设施。

我们的一台摄像机遇到了网络传输速度慢的问题。这台摄像机将 DNG 序列录制到 SD 卡(Kingston Canvas React 256 GB)上。因此,拍摄结束后,SD 卡上会为每段剪辑创建文件夹,其中包含数万个 1-2 MB 的 .dng 文件。

我们在 Windows 10 PC(Alienware Aurora R10、R9-5900x 32GB RAM RTX 3080)上使用 DaVinci Resolve 及其克隆工具采集素材,该工具会在复制后使用校验和验证文件。如果我们使用资源管理器将文件复制到网络共享,速度是一样的,所以我认为问题不在于 DaVinci resolve。(有些软件的许可证很贵(例如 YoYotta),它们声称复制速度更快,但我没有试过)。顺便说一下,我的 2015 年 Macbook Air 上的情况也一样,它有一个 Thunderbolt 2 转以太网适配器。

我们的服务器是一台旧的戴尔 T320,配备 16 GB RAM 和 5 x 3TB WD Red Disks(不是 SMR 的),连接到 H200 Raid 控制器,并刷新到 IT 模式。它运行 XigmaNas,磁盘位于 raidz1 池中。然后通过 SMB 共享。(我知道这台服务器非常慢,容量对于我们正在做的事情来说太低了,我们计划升级到 12 个磁盘和一个用于 L2ARC 和 10Gbps 网络的 ssd,已经快一年了,但我们一直找不到一个没有计划项目的空闲周,我可以进行升级。)

我们有一台运行 PfSense 的嵌入式 PC 作为路由器和防火墙,并使用非托管 8 端口 Zyxel 交换机连接计算机。在我尝试过的每个基准测试和测试中,它都可以处理全千兆位连接。

所以问题如下。当我开始传输时,速度开始在 70-80 Mb/s 左右,在半分钟内迅速降至 10 MB/s,然后在几个小时内缓慢降至 2-3 MB/s 左右。如果传输完一个文件夹,下一个文件夹又会全速开始。所以如果卡里装满了一堆文件夹(所以是较小的剪辑),情况就没那么糟糕了,传输只需几个小时即可完成。但是当我们在卡里装满 1-2 个剪辑,也就是 1-2 个 100-150 GB 的文件夹,每个文件夹包含 1-2 MB 文件时,这实际上需要一天以上的时间。

当我们使用以 4K-6K 录制的其他相机时,它会以全速传输更大的文件(对于较长的剪辑,则是 100-800 GB 的文件),因此在整个传输过程中通常最大速度为 112 MB/s。

当池容量超过 80-90% 时(这些是我上面写的数字),小文件的传输当然会慢一点,但当池容量略低于 50% 时,最慢的速度是 5 MB/s,与 1-2 MB/s 相差不大。所以它仍然很慢,我不认为池已满,因为大文件仍在全速传输。我不记得池空的时候是什么样子。

当我们在 DaVinci Resolve 中处理视频时,它索引文件所在的整个文件夹的速度很慢(256 GB 需要 5-10 分钟),但一旦完成,它就会以全千兆位速度读取文件。所以这是可以做到的,所以我猜这是一个网络开销问题。

那么,我遗漏了什么?问题出在哪里?近一年来,我一直在断断续续地谷歌搜索和阅读论坛,但似乎无法在任何地方找到确切的问题,而且我无法在服务器上进行实验,因为它每天都在使用。

如果这是整个设置的架构,并且我们必须转移到基于 SSD 的服务器,我宁愿想出另一个解决方案,因为我们现在真的没有足够的资金来进行如此大规模的升级。我当时正在考虑编写一个脚本,将文件夹压缩成 zip 或 tar,通过网络传输它们,然后解压它们。但之后我必须进行校验和等,而 DaVinci Resolve 可以非常优雅地完成这些工作,您可以安排传输等。而且它是一个 GUI。所以我会采取临时解决方案。但我正在寻找任何和所有的解决方案。

提前谢谢大家。本斯·圣蒂凡尼

相关内容