sou350121/VLA-Handbook

本项目旨在为致力于进入VLA(Vision-Language-Action)领域的算法工程师提供一份全中文、实战导向的学习/面试手册。 不同于通用的 CV/NLP 面试指南,本项目聚焦于 Robotics 特有的挑战

VLA 手册——视觉-语言-行动机器人技术的活知识库

项目简介 – 一个开源、持续更新的知识库,精选并提炼面向机器人技术的视觉-语言-行动(VLA)模型领域快速增长的文献。它弥合了阅读论文与在机器人上实际运行代码之间的差距,提供:

  • 理论 – 688 篇 Markdown 深度分析,涵盖架构、动作表示、世界模型、触觉感知等。
  • 部署 – 实操指南、硬件推荐,以及用于在真实机器人上复现结果的“健全性检查”脚本。
  • 社区洞察 – 自动提取中文(小红书)和英文(HF 博客、Discord)社区技巧,并浓缩 GitHub Issues。
  • 行业雷达 – 每日追踪机器人/具身 AI 公司、融资、IPO,并提供每周“行业判断地图”。
  • AI 助手技能 – 一个插件,可将手册的知识注入 Claude、Cursor、Codex 等。

为何重要 – VLA 研究正呈爆炸式增长(每周数十篇论文),但可复现性分散在 GitHub Issues、附录代码和零散的论坛帖子中。本项目自动化收集、评分和总结新论文,并添加工程级细节(超参数、形状检查、入口脚本),使开发者可以一步从阅读到运行。

主要组件

组件 提供内容 更新频率
theory/ 688 篇深度 Markdown(核心、扩散流、世界模型、触觉等) 每天 2-3 篇新分析
deployment/ 硬件选择、多模态同步、Sim-2-Real 检查清单、社区实地笔记 中文笔记每 3 天,英文笔记每周
reports/weekly 和 biweekly 趋势摘要、SOTA 表格、预测与现实评分 每周/双周
scripts/ 完整管道(论文抓取、评分、总结、RSS 生成)——详见 SCRIPTS.md 每天早晨运行 33 个 cron 任务
companies/ 公司简介、融资、产品更新、求职指南 每日雷达,每周地图
VLA-expert-skill 可立即加载到 LLM 编码助手的技能 每天与手册同步

工作原理 – Pulsar 引擎(独立仓库)运行 33 个 cron 任务,执行以下步骤:

  1. 从 arXiv 和其他来源拉取最新 VLA 论文。
  2. 使用 ⚡/🔧/📖/❌ 标签(影响力、工程准备度等)为每篇论文评分。
  3. 生成 Markdown 分析,更新索引,并发布 RSS 源。
  4. 收集社区帖子(小红书、HF 博客、Discord)和 GitHub Issues,提炼为“实地笔记”并合并回来。
  5. 维护 19 个领域假设,根据观察数据自动调整置信度分数——一个自我进化的知识验证循环。

适合谁使用

  • 需要具体入口脚本、超参数表格和硬件兼容性矩阵的机器人工程师。
  • 寻找精选、最新 VLA 方法和趋势地图的研究人员。
  • 追踪具身 AI 初创公司竞争格局的产品团队。
  • 可通过提供的技能转变为 VLA 专家的 LLM 驱动编码助手。

开始使用

  1. 克隆仓库。
  2. 浏览 theory/README.md 获取学习路线图,或直接跳转到特定主题(例如 theory/vla-core/vla_arch.md)。
  3. 对于真实机器人部署,请阅读 deployment/README.md 并遵循提供的健全性检查脚本。
  4. 订阅 RSS 源(或导入 OPML),在阅读器中直接接收每日更新。
  5. 将 VLA Expert Skill 安装到您喜欢的 AI 编码助手中,以对话方式查询手册。

贡献 – 项目欢迎社区贡献:新论文分析、额外的部署经验、面试问题库或行业雷达更新。指南请参阅 CONTRIBUTING.md。


以上所有信息均直接摘自仓库的 README;未添加任何外部假设。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目