sou350121/VLA-Handbook

本项目旨在为致力于进入VLA(Vision-Language-Action)领域的算法工程师提供一份全中文、实战导向的学习/面试手册。 不同于通用的 CV/NLP 面试指南,本项目聚焦于 Robotics 特有的挑战

VLA Handbook – 視覚言語行動ロボティクスの生きている知識ベース

何であるか – 継続的に更新されるオープンソースリポジトリで、急速に増加するVLA(視覚言語行動)の文献およびエンジニアリングノウハウを収集・整理・要約しています。論文を読むことと実際にロボット上でコードを実行することのギャップを埋め、毎日新しい論文を取得し、評価し、深掘りノートを生成するパイプラインを備えています。

なぜ重要か – RT-1、RT-2、OpenVLA、π-0、Figure HelixなどのVLA研究は週に数十本の論文を生み出していますが、再現性に関する詳細はGitHubのイシュー、コミュニティ投稿、補足資料に散在しています。このハンドブックはこれらの情報を集約し、健全性チェックスクリプト、ハイパーパラメーターテーブル、形状チェック、ハードウェア推奨を追加することで、混沌とした文献の流れを検索可能でバージョン管理された知識ベースに変換します。

主なコンテンツ

  • 525の理論文書:コアVLAアーキテクチャ、拡散/フロー行動表現、ワールドモデル、触覚認識、先端トピックをカバー。
  • 165件の英語および300件以上の中国語コミュニティノート:Reddit/Discord、Hugging Faceブログ、Xiaohongshuから収集し、自動要約とインデックス化。
  • 47件の要約されたGitHubイシュー経験(GPU互換性、メモリテクニック、収束失敗など)。
  • 業界レーダー – ロボティクス・エムベデッドAI企業の日々の追跡(資金調達、製品、IPO)と週次「業界判断マップ」。
  • RSSフィードとOPML:新しい理論ノート、毎日のシグナルフィード、AIエージェントニュース、週次レポートの自動購読。
  • VLAエキスパートスキル – Claude Code、Cursor、Codex、OpenCodeなどのAIコーディングアシスタントにハンドブックの知識をインジェクトするプラグイン。
  • 自動化パイプライン(Pulsar) – 33のcronジョブで論文を取得し、評価(⚡/🔧/📖/❌)、健全性チェックスクリプトを実行、リポジトリを更新し、19のドメイン仮説に対する信頼度を自己調整。

使い方

  1. 閲覧theory/フォルダ内のディープダイブマーカドファイル(例:VLA アーキテクチャ概要, Flow Matching 原理の分解)を参照。各ノートにはエントリポイントスクリプト、主要ハイパーパラメータ、形状検証スニペットが含まれます。
  2. デプロイdeployment/README.mdを使用 – ハードウェア選定ガイド、マルチモーダル同期チェックリスト、Sim-2-Realのヒント、統合された「現実世界デプロイエントリ」。
  3. 最新情報を確認:RSSフィードまたはOPMLファイルに登録。毎日の「PULSE」マーカドには、15のVLAメソッドファミリーのトラフィック、加速、30日間のトレンドが表示されます。
  4. AIスキルを活用VLA-expert-skillフォルダをAIコーディングアシスタントにコピーして、論文要約、ハイパーパラメータの推奨、デプロイアドバイスを即座に取得可能に。
  5. 貢献する:新しい論文分析、コミュニティノート、インタビュー問題バンク(question-bank/)を追加するため、イシューまたはPRを開いてください。

誰が恩恵を受けるか

  • VLAモデルの内部構造や最新ベンチマーク結果を信頼できる参照として必要とする研究者
  • 再現可能なスクリプト、ハードウェア互換性マトリクス、Sim-2-Realのトラブルシューティングヒントを求めるエンジニア
  • カリキュレートされたインタビュー問題とエムベデッドAI企業に関する業界インテリジェンスを探している学生・就職活動者
  • すぐに使えるVLA知識プラグインを求めるAIアシスタント開発者

ライセンス – Creative Commons Attribution 4.0 (CC-BY-4.0)。出典を明記すれば、コンテンツを共有・改変できます。

導入方法 – リポジトリをクローンし、theory/README.mdを読んで学習ロードマップを確認。その後、デプロイガイドに従ってロボット上でVLAモデルを実行してください。RSSフィードとPulsar自動化は自動的に動作します。貢献したい場合を除き、追加設定は不要です。


すべての詳細はリポジトリのREADMEから直接取得されています。外部の仮定は一切追加していません。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト