showlab/Code2Video

解決する課題

Code2Videoは、高品質で一貫性があり、再現可能な教育用動画を作成する難しさに対処します。従来のテキストから動画を直接生成するモデルとは異なり、このフレームワークは実行可能なコードを動画生成の媒体として使用することで、明確さと正確性を確保します。

動作方法

このシステムは、Manimライブラリを活用して動画を生成するエージェント中心のコード指向パラダイムを採用しています。モジュール化された3エージェント構造を採用しています：

• プランナー：知識ポイントを詳細なストーリーボードに展開します。
• コーダー：ストーリーボードを実装するデバッグ可能なManimコードを合成します。
• クリティック：アンカーと視覚フィードバックを使用してレイアウトと美しさを最適化します。

視覚品質を向上させるために、IconFinder APIを介して外部アイコンを統合できます。プロセスは、知識の転送、美しさ、効率性をテストするMMMCベンチマークで評価されます。

対象ユーザー

このツールは、3Blue1Brownが生み出すような数学的・技術的に正確な教育用アニメーションの自動生成を希望する教育者、コンテンツクリエイター、研究者向けに設計されています。

特徴

• コード駆動型生成：ピクセルベースの生成ではなく、実行可能なManimコードを使用することで、より高い一貫性と再現性を実現します。
• 3エージェントアーキテクチャ：計画、コーディング、評価を分離することで、構造的で洗練された出力を保証します。
• MMMCベンチマーク：117の学習トピックを含む専門的なベンチマークを備え、教育用動画生成を評価します。
• 多次元評価：知識の転送（TeachQuiz）、美しさ、計算効率に基づいて動画を評価します。