Robbyant/lingbot-world

解決する課題

LingBot-Worldは、高忠実度でインタラクティブなビデオ環境を生成するために設計されたオープンソースの世界シミュレーターです。多様なスタイル（リアリズム、科学的、カートゥーン）において、時間的一貫性と堅牢なダイナミクスを維持しながら、リアルタイムのユーザーインタラクションと長期メモリ（分単位のホライゾン）を可能にすることを目的としています。

仕組み

Wan2.2 フレームワークに基づいて構築されたこのプロジェクトは、いくつかのモデルバージョンを提供します：

• Base (Cam): カメラポーズ（内部パラメータおよび変換行列）によって制御されます。
• Base (Act): ユーザーフレンドリーなアクション文字列インターフェースを含む、特定の動作によって制御されます。
• Fast: KV キャッシングとチャンクごとの処理を使用して因果推論を行う加速バージョンで、16 FPS の出力に対してレイテンシを 1 秒未満に短縮します。

対象者

このツールは、環境をシミュレートするための制御可能でインタラクティブな世界モデルを必要とする、コンテンツ制作、ゲーム、ロボット学習の分野の開発者や研究者を対象としています。

ハイライト

• リアルタイムのインタラクティブ性: インタラクティブなレンダリングにおいてサブ秒のレイテンシを実現。
• 長期メモリ: 最長 1 分間の長さの一貫したビデオ生成が可能。
• 多様な環境: 写実的なものからカートゥーンまで、幅広い視覚的スタイルをサポート。
• 制御可能な生成: カメラポーズとアクション文字列による制御をサポート。
• 量子化バージョン: GPU リソースが限られているユーザー向けに 4-bit 量子化モデルを提供。