microsoft/DCVC

解決する課題

DCVC-UFは、ニューラルビデオコーデック（NVC）の計算複雑性が高いという、実世界での導入を困難にしている課題に対処します。高い圧縮率を提供すると同時に、超高速なエンコードおよびデコード速度を実現することを目指しています。

仕組み

このプロジェクトは、チャンクベースの符号化フレームワークを実装しています。フレームを逐次的に処理する代わりに、複数のフレームからなるチャンクを単一のコンパクトな潜在表現にエンコードし、それらを同時にデコードします。これは以下の技術によってサポートされています：

• Cross-frame interaction modules: 共同の時空間モデリングに使用されます。
• Frame-specific decoders: フレームの並列再構成を可能にします。
• Streamlined entropy coding: ビットストリームの相互作用を単一のステップに統合することで、デコードのオーバーヘッドを削減するメカニズムです。

対象者

ビデオ圧縮、ニューラルビデオコーデック、および高性能ビデオ処理パイプラインに従事する研究者および開発者。

ハイライト

• 超高速: エンコードおよびデコードのスループットにおいて、従来の主要なコーデックを大幅に上回ります。
• 幅広いビットレート範囲: 64のQPレベルを持つ単一のモデルにより、きめ細かなビットレート調整が可能です。
• 多用途なカラースペース: YUV420とRGBの両方のコンテンツコーディングをサポートしています。
• 高効率: 高い品質を維持しながら、VTM-17.0と比較してビットレートの削減を実現します。