OpenEnvision/WorldFoundry

何を解決するか

WorldFoundry は、世界モデルの開発、実行、評価に向けた統合的なインフラを提供します。モデルリポジトリの断片化を解消し、動画生成、3D/4D表現、エンベデッドAIのアクションなど、さまざまなモダリティにおいて、推論、アセット管理、ベンチマーク評価のための共有スタックを提供します。

動作方法

このプロジェクトは、世界モデルを「モデルズー」とし、ベンチマークを「ベンチマークズー」として整理し、標準化されたカタログシステムを使用します。複数のインターフェースを提供して相互作用を可能にします：

• 推論インターフェース：ユーザーはターミナルユーザーインターフェース（TUI）、コマンドラインインターフェース（CLI）、またはブラウザベースのスタジオワークスペースを通じてアーティファクトを生成できます。
• ランタイム：モデルアーキテクチャと推論アダプタはプロジェクト内に「インツリー」で保持され、大規模なチェックポイントやデータセットはローカルまたはHugging Face経由でステージングされます。
• 評価パイプライン：評価ランナーはモデル-ベンチマークペアを実行し、結果をインポートして正規化されたスコアカードを生成し、パフォーマンスの主張を検証します。
• 最適化：FlashAttention、xFormers、量子化などのさまざまな加速バックエンドをサポートし、認証された品質と高速化を追跡するための組み込み「真実行列」を備えています。

対象ユーザー

• AI研究者：世界モデル、動画生成、エンベデッドインテリジェンスに取り組んでいるが、モデルの実行と比較に標準化された方法が必要な人。
• MLエンジニア：インタラクティブな世界やVLA（視覚-言語-行動）ポリシーを開発している人。
• モデル評価者：形式的なスコアカード付きで厳密かつ再現可能なベンチマーク結果が必要な人。

主な特徴

• 包括的なモダリティ対応：動画、3D/4D、エンベデッドアクションモデルをカバー。
• 統合されたワークスペース：推論ジョブの管理とアーティファクトのレビューに使えるブラウザベースのスタジオ。
• 統合されたベンチマーク評価：ベンチマークを実行し、資格チェック付きスコアカードを生成する形式的なシステム。
• 柔軟な推論：同じ基盤モデルランタイムに対して、TUI、CLI、スタジオインターフェースをサポート。
• ハードウェア加速：GPUパフォーマンスを最適化するための高度なカーネルと量子化の組み込みサポート。