code-video-model/CodeVideoModel

解決する課題

Code Video Model は、3D シーンコードを構造的なガイドとして使用することで、高品質で制御可能な動画生成という課題に対処します。空間的一貫性や正確なカメラワークに苦労することがあるテキストから動画への生成モデルに頼るのではなく、このプロジェクトでは Three.js コードを使用してシーンのジオメトリと動きを定義し、最終的な動画出力が構造的に正確であることを保証します。

仕組み

このプロセスは主に3つの段階で構成されます。まず、LLM を使用してテキストプロンプトから Three.js コードを生成し、シーン構造を定義する「プロキシ」動画を作成します。次に、目的の視覚スタイルと構図を捉えた高品質な参照画像を生成します。最後に、MiniMax-H3 モデルを使用して最終的な動画を合成し、プロキシ動画からの構造的なガイダンスと参照画像からの視覚的な詳細を組み合わせます。

対象読者

このプロジェクトは、制御可能な動画生成、3D から動画へのパイプライン、および AI 主導のシーン合成に取り組む研究者や開発者を対象としており、プログラム可能な 3D 環境と高忠実度の生成動画モデルとの間のギャップを埋めるフレームワークを必要としている方に最適です。

ハイライト

• コードによる生成ガイド： Three.js コードを構造プロキシとして使用し、カメラパスやオブジェクトの配置を制御します。
• 多段階パイプライン： LLM ベースのコード生成、画像ベースのスタイル参照、および動画合成を統合しています。
• インタラクティブビューア： 生成された 3D シーンを検査、スクラブ、視覚化するためのブラウザベースのツールが含まれています。
• ベンチマークの同梱： 構造、スタイル、視覚的品質を評価するために、8 つのアプリケーションにわたる 22 のケースからなるデータセット CodeVideoBench を提供しています。