sou350121/VLA-Handbook
本项目旨在为致力于进入VLA(Vision-Language-Action)领域的算法工程师提供一份全中文、实战导向的学习/面试手册。 不同于通用的 CV/NLP 面试指南,本项目聚焦于 Robotics 特有的挑战
VLA 手册——视觉-语言-行动机器人技术的活知识库
项目简介 – 一个开源、持续更新的知识库,精选并提炼面向机器人技术的视觉-语言-行动(VLA)模型领域快速增长的文献。它弥合了阅读论文与在机器人上实际运行代码之间的差距,提供:
- 理论 – 688 篇 Markdown 深度分析,涵盖架构、动作表示、世界模型、触觉感知等。
- 部署 – 实操指南、硬件推荐,以及用于在真实机器人上复现结果的“健全性检查”脚本。
- 社区洞察 – 自动提取中文(小红书)和英文(HF 博客、Discord)社区技巧,并浓缩 GitHub Issues。
- 行业雷达 – 每日追踪机器人/具身 AI 公司、融资、IPO,并提供每周“行业判断地图”。
- AI 助手技能 – 一个插件,可将手册的知识注入 Claude、Cursor、Codex 等。
为何重要 – VLA 研究正呈爆炸式增长(每周数十篇论文),但可复现性分散在 GitHub Issues、附录代码和零散的论坛帖子中。本项目自动化收集、评分和总结新论文,并添加工程级细节(超参数、形状检查、入口脚本),使开发者可以一步从阅读到运行。
主要组件
| 组件 | 提供内容 | 更新频率 |
|---|---|---|
theory/ |
688 篇深度 Markdown(核心、扩散流、世界模型、触觉等) | 每天 2-3 篇新分析 |
deployment/ |
硬件选择、多模态同步、Sim-2-Real 检查清单、社区实地笔记 | 中文笔记每 3 天,英文笔记每周 |
reports/weekly 和 biweekly |
趋势摘要、SOTA 表格、预测与现实评分 | 每周/双周 |
scripts/ |
完整管道(论文抓取、评分、总结、RSS 生成)——详见 SCRIPTS.md |
每天早晨运行 33 个 cron 任务 |
companies/ |
公司简介、融资、产品更新、求职指南 | 每日雷达,每周地图 |
VLA-expert-skill |
可立即加载到 LLM 编码助手的技能 | 每天与手册同步 |
工作原理 – Pulsar 引擎(独立仓库)运行 33 个 cron 任务,执行以下步骤:
- 从 arXiv 和其他来源拉取最新 VLA 论文。
- 使用 ⚡/🔧/📖/❌ 标签(影响力、工程准备度等)为每篇论文评分。
- 生成 Markdown 分析,更新索引,并发布 RSS 源。
- 收集社区帖子(小红书、HF 博客、Discord)和 GitHub Issues,提炼为“实地笔记”并合并回来。
- 维护 19 个领域假设,根据观察数据自动调整置信度分数——一个自我进化的知识验证循环。
适合谁使用
- 需要具体入口脚本、超参数表格和硬件兼容性矩阵的机器人工程师。
- 寻找精选、最新 VLA 方法和趋势地图的研究人员。
- 追踪具身 AI 初创公司竞争格局的产品团队。
- 可通过提供的技能转变为 VLA 专家的 LLM 驱动编码助手。
开始使用
- 克隆仓库。
- 浏览
theory/README.md获取学习路线图,或直接跳转到特定主题(例如theory/vla-core/vla_arch.md)。 - 对于真实机器人部署,请阅读
deployment/README.md并遵循提供的健全性检查脚本。 - 订阅 RSS 源(或导入 OPML),在阅读器中直接接收每日更新。
- 将 VLA Expert Skill 安装到您喜欢的 AI 编码助手中,以对话方式查询手册。
贡献 – 项目欢迎社区贡献:新论文分析、额外的部署经验、面试问题库或行业雷达更新。指南请参阅 CONTRIBUTING.md。
以上所有信息均直接摘自仓库的 README;未添加任何外部假设。
相关
- 项目
- 项目
- 项目
- 项目
- 项目