FBddcz/embodied-jev

解決する課題

EmbodiedJev（行知）は、具現化 AI を実験するためのブラウザベースのワークベンチを提供します。ユーザーは、物理ロボットや複雑なセットアップを必要とせずに、AI モデルがロボットタスク（把持、積み重ね、障害物回避など）に対してどのように意思決定を行うかを視覚化できます。高レベルのモデル推論と低レベルの物理実行の間のギャップを埋めます。

仕組み

このプロジェクトは、MuJoCo 物理エンジンを使用して Franka Panda ロボットアームをシミュレートします。ユーザーは、さまざまな AI モデル（MiniCPM5-2B などのローカルモデルや、Claude や OpenAI 互換サービスなどのクラウド API）をシミュレーションに接続できます。システムはループに従います：モデルは状態（構造化データまたは RGB カメラ入力）を観察し、アクション（移動ステップやスキルなど）を選択し、物理エンジンがそれを実行して、次の意思決定サイクルにフィードバックを提供します。同一条件下で異なるモデルの並列比較をサポートします。

対象ユーザー

このプロジェクトは、LLM や視覚言語モデルが物理的な意思決定タスクでどのように機能するかをテストすることに興味がある AI 研究者、ロボット工学愛好家、開発者を対象としています。ロボット工学の経験がゼロの人でもアクセスしやすいように設計されていますが、上級ユーザーがカスタム実験やベンチマークを実行するのに十分な深さも提供します。

ハイライト

• リアルタイム視覚化：ステージ選択、XYZ 移動、グリッパーアクションなど、ロボットの意思決定プロセスを確認できます。
• モデル非依存：ローカルモデル（MiniCPM）およびさまざまなクラウド API（OpenAI、Anthropic、TypeSafe Jev）をサポートします。
• 比較分析：同じタスクとシードで複数のモデルを同時に実行し、パフォーマンス、レイテンシ、コストを比較できます。
• 物理ベースのフィードバック：MuJoCo を使用して、把持、衝突検出、オブジェクト操作などの現実的なインタラクションを実現します。
• 拡張可能：ユーザーはカスタムタスクを定義し、実験データをインポート/エクスポートし、カメラ設定を調整できます。