我正在构建一个应用程序来读取多个 IP 摄像头流 (rtsp) 并实时在其上运行不同的机器学习算法。对于每个摄像头流，
- 我生成一个 ffmpeg 进程，它不断将 rtsp 流分解为帧并将它们存储为图像 (JPEG)。这些流使用 H.264 编码。我每秒输出 1 帧。
- 与模型对应的消息队列被赋予包含文件位置的消息。
- 模型不断拾取文件并进行推断
我面临的问题是 ffmpeg 解码过程的 CPU 使用率。为了实时推理而不丢失任何帧，我必须为每 2 个摄像头流增加一个核心来增强我的服务器。我是否缺少对 ffmpeg 的优化？
我使用的是 Intel Xeon Gold 处理器和 Ubuntu 18.04 操作系统