microsoft/mlvc

何を解決するか

MLVCは、消費者向けデバイスでの実用的な展開を目的としたニューラル動画コーデックです。Apple、Intel、Qualcommの汎用NPU（ニューラルプロセッシングユニット）上で、高視覚品質を維持しつつリアルタイム性能（平均100 FPS）を達成する学習済み動画圧縮システムを構築する課題に対処しています。

仕組み

MLVCは動画圧縮に学習アプローチを採用し、モデルのトレーニングとデプロイメントの完全なパイプラインを提供します。以下の機能を含みます：

• トレーニングパイプライン： Iフレーム（画像）およびPフレーム（動画）モデルの両方のトレーニングをサポート。PSNRベースまたは知覚ベースの最適化を選択可能。
• ハードウェア最適化： CoreML（Apple）、OpenVINO用ONNX（Intel）、QNN（Qualcomm）へのモデル変換ツールを備え、ハードウェアアクセラレーションを活用。
• エントロピー符号化： 実時間デプロイメントに最適化された生産用C++エントロピー符号化器。実際のビットストリーム生成を処理。
• 評価スイート： BD-rate、RD曲線、およびさまざまな品質指標（PSNR、MS-SSIM、LPIPSなど）を計算するためのツール。従来のコーデック（H.265/HEVCなど）と性能を比較可能。

対象ユーザー

学習済み動画圧縮、ニューラルコーデック、エッジデバイスにおける高パフォーマンスAI駆動メディア処理に取り組む研究者および開発者。

主な特徴

• リアルタイム性能： 汎用NPU上でエンコード・デコードともに約100 FPSを達成。
• ハードウェア耐性： Apple、Intel、Qualcomm NPUのネイティブサポートを専用のエクスポートツールで実現。
• 顕著な効率向上： ハードウェアHEVCに対して70%以上のMOSベースBD-rate改善。
• 包括的なツールキット： 事前学習済みチェックポイント、トレーニングコード、ベンチマークツールを提供。