sou350121/VLA-Handbook

本项目旨在为致力于进入VLA(Vision-Language-Action)领域的算法工程师提供一份全中文、实战导向的学习/面试手册。 不同于通用的 CV/NLP 面试指南，本项目聚焦于 Robotics 特有的挑战

VLAハンドブック – Vision-Language-Actionロボティクスのための生きた知識ベース

概要 – オープンソースで継続的に更新されるリポジトリで、ロボティクス向けのVision-Language-Action（VLA）モデルに関する急速に成長する文献をキュレーションし、凝縮します。論文を読むことと、実際にコードをロボット上で実行することの間のギャップを埋め、以下を提供します：

  • 理論 – アーキテクチャ、行動表現、世界モデル、触覚知覚などをカバーする688件のMarkdown分析。
  • 実装 – 実ロボットで結果を再現するための実践ガイド、ハードウェア推奨、および「健全性チェック」スクリプト。
  • コミュニティの洞察 – 中国語（小红书）と英語（HFブログ、Discord）のコミュニティのヒントを自動抽出し、加えてGitHub Issuesを凝縮。
  • 業界レーダー – ロボティクス/身体化AI企業、資金調達、IPOを毎日追跡し、週刊の「業界判断マップ」も提供。
  • AIアシスタントスキル – ハンドブックの知識をClaude、Cursor、Codexなどに注入するプラグイン。

重要性 – VLA研究は爆発的に増加しています（毎週数十本の論文）が、再現性はGitHubのIssue、付録のコード、散在するフォーラム投稿に断片化しています。このプロジェクトは、新しい論文の収集、評価、要約を自動化し、さらにエンジニアリングレベルの詳細（ハイパーパラメータ、形状チェック、エントリスクリプト）を追加することで、開発者が読むから実行までをワンステップで行えるようにします。

主要コンポーネント

コンポーネント 得られるもの 更新頻度
theory/ 688件の詳細なMarkdown（コア、拡散フロー、世界モデル、触覚など） 毎日2〜3件の新しい分析
deployment/ ハードウェア選定、マルチモーダル同期、Sim-2-Realチェックリスト、コミュニティフィールドノート 中国語ノートは3日ごと、英語ノートは毎週
reports/weekly および biweekly トレンドダイジェスト、SOTAテーブル、予測対現実のスコア 毎週/隔週
scripts/ フルパイプライン（論文スクレイピング、評価、要約、RSS生成）– SCRIPTS.mdで文書化 毎朝33のcronジョブが実行
companies/ 企業プロファイル、資金調達、製品更新、求職ガイド 毎日レーダー、毎週マップ
VLA-expert-skill LLMコーディングアシスタント用のすぐに読み込めるスキル ハンドブックと毎日同期

仕組み – Pulsarエンジン（別リポジトリ）が33のcronジョブを実行し、以下を行います：

  1. arXivやその他のソースから最新のVLA論文を取得。
  2. 各論文を⚡/🔧/📖/❌タグ（影響、エンジニアリング準備度など）で評価。
  3. Markdown分析を生成し、インデックスを更新し、RSSフィードを公開。
  4. コミュニティ投稿（小红书、HFブログ、Discord）とGitHub Issuesを収集し、「フィールドノート」に凝縮してマージ。
  5. 19のドメイン仮説を維持し、観測データに基づいて信頼スコアを自動調整–自己進化する知識検証ループ。

利用すべき人

  • 具体的なエントリスクリプト、ハイパーパラメータテーブル、ハードウェア互換性マトリックスを必要とするロボティクスエンジニア。
  • キュレーションされた最新のVLA手法とトレンドのマップを求める研究者。
  • 身体化AIスタートアップの競争環境を追跡するプロダクトチーム。
  • 提供されたスキルによってVLAエキスパートに変身できるLLM搭載コーディングアシスタント。

始め方

  1. リポジトリをクローンします。
  2. theory/README.mdで学習ロードマップを確認するか、特定のトピック（例：theory/vla-core/vla_arch.md）にジャンプします。
  3. 実ロボット展開の場合は、deployment/README.mdを読み、提供された健全性チェックスクリプトに従います。
  4. RSSフィードに購読するか（またはOPMLをインポート）、毎日の更新をリーダーで受け取ります。
  5. VLA Expert Skillをお好みのAIコーディングアシスタントにインストールして、ハンドブックに対話的に問い合わせます。

貢献 – プロジェクトはコミュニティからの貢献を歓迎します：新しい論文分析、追加の実装経験、インタビュー問題バンク、または業界レーダーの更新。ガイドラインはCONTRIBUTING.mdを参照してください。

上記のすべての情報はリポジトリのREADMEから直接取得しており、外部の仮定は追加されていません。

関連

  • プロジェクト
    starVLA/starVLA

    StarVLA は、ロボット向けの Vision-Language-Action モデルを開発するためのモジュール式のオープンソースコードベースです。プラグアンドプレイのコンポーネント、複数の VLA フレームワーク、トレーニングレシピ、ベンチマーク統合を提供し、迅速なプロトタイピングと簡単なカスタマイズに重点を置いています。

  • プロジェクト
    allenai/vla-evaluation-harness

    vla-evaluation-harnessは、Dockerで分離された環境と軽量なモデルサーバースクリプトを使用して、多数のロボットシミュレーションベンチマーク（LIBERO、CALVIN、SimplerEnvなど）でVision-Language-Actionモデルを評価できるPythonライブラリです。バッチ並列実行（エピソードのシャーディング+GPUバッチ処理）により大幅な高速化を実現し、2,456モデルの統一リーダーボードを提供し、研究およびトレーニング時の評価のためのシンプルなCLI/Python APIを備えています。

  • プロジェクト
    Robbyant/lingbot-vla-v2

    LingBot‑VLA 2.0は、ロボット向けのオープンソースのVision‑Language‑Action基盤モデルです。多様なロボットの形態を55次元の動作ベクトルに統合し、MoE層とデュアルクエリ蒸留（深度 + 未来のビデオ）を用いて予測ダイナミクスを学習します。約6万時間のロボットおよびエゴセントリックビデオデータで学習されており、condaベースのインストール、6Bパラメータのチェックポイントダウンロード用スクリプト、データ準備ツール、カスタムデータセットでの事後学習、RoboTwinベンチマークや実機での評価ツールを提供します。報告された結果では、両腕および移動操作タスクにおいて1.0バージョンから顕著な向上が見られます。

  • プロジェクト
    FluxVLA/FluxVLA

    FluxVLA Engineは、ロボット向けの視覚・言語・行動（VLA）モデルをトレーニング、評価、デプロイするためのオープンソースのエンドツーエンドプラットフォームです。統一設定、モジュール式モデルバックエンド、ベンチマークスイート（LIBERO、RoboCasa、RoboDojo）、およびデプロイツール（Docker、Jetson Orin、Triton、ZMQ）を提供し、FrankaとOliでの実ロボットデモを備えています。

  • プロジェクト
    dsta022/Loop-Engineering-for-VLA

    Loop Engineering for VLAnything は、ビジョン・言語・アクションモデル向けのマルチモーダルロボット学習データセット（RGB、RGB-D、および将来の視覚触覚）を記録、マージ、監査、拡張、反復改善できるエンドツーエンドのPythonツールキットです。保守的でサイドカー最優先の品質監査、プラグイン可能な意味的評価器、言語アノテーションパイプライン、ポリシー改善のクローズドループを提供し、LeRobotデータフォーマットと互換性があり、Hugging Faceに公開可能です。