microsoft/DCVC

解决的问题

DCVC-UF 解决了神经视频编解码器 (NVC) 计算复杂度高的问题，这通常使其难以在实际场景中部署。其目标是在实现极快编解码速度的同时，提供高压缩比。

工作原理

该项目实现了一个基于分块的编码框架。它不是顺序处理帧，而是将包含多个帧的分块编码为单个紧凑的潜在表示，并同时进行解码。这由以下技术支持：

• Cross-frame interaction modules：用于联合时空建模。
• Frame-specific decoders：实现帧的并行重建。
• Streamlined entropy coding：一种通过将比特流交互整合到单个步骤中来减少解码开销的机制。

适用对象

从事视频压缩、神经视频编解码器和高性能视频处理流水线研究的科研人员和开发人员。

亮点

• 超高速：在编解码吞吐量方面显著优于以往领先的编解码器。
• 宽比特率范围：具有 64 个 QP 级别的单一模型允许进行细粒度的比特率调整。
• 多功能色彩空间：支持 YUV420 和 RGB 内容编码。
• 高效率：在保持高质量的同时，实现了相对于 VTM-17.0 的比特率降低。