Lila Sciences的AI科学工厂：具有可验证实验奖励的强化学习

TL;DR

Lila Sciences 将科学方法作为强化学习（RL）循环，使用湿实验室实验作为可验证的奖励，创建了一个用于训练单一通用科学模型的“无限代币生成器”。该方法产生的模型在生物、化学和材料领域的表现优于专用模型，并实现了快速、低成本的发现。

1. 核心论点 – 用实验室作为验证者来扩展数据

  • 规模的苦涩教训 – Andy Beam 认为，可扩展且通用的方法始终胜过狭窄、手工打造的方案。这呼应了历史上 AI 的洞见：更大、更通用的模型占据优势。
  • 互联网作为枯竭资源 – 互联网被比作已被“压裂”的化石燃料——我们已经提取了几乎所有有用的数据。下一个互联网规模的数据集必须来自全新来源。
  • 科学作为无限代币生成器 – 通过将科学方法作为 RL 执行，每一次实验都会产生一个代币（实验结果），该代币本质上是可验证的。实验室因此成为类似数据中心的高质量、带标签数据来源。
  • 结果 – 一个在约 10 万亿实验验证代币上训练的单一模型，覆盖生命科学、化学和材料，性能超越领域专用模型——“广度带来深度”。

2. AI科学工厂架构

  • PCI‑总线类比 – 仪器通过物理传输层相连，功能类似计算机的 PCI 总线。每个设备是一个节点，边表示机器人样本转移。
  • API线 – 所有交互（仪器指令、人为干预）都以 API 调用的形式表达。人类位于“API线以下”，意味着模型可以发出指令，由机器人或人员执行。
  • 灵活性 vs. 吞吐量 – 平台优先考虑灵活性（设计新协议的能力）而非原始吞吐量。自动化只在能产生最高代币价值的环节使用，琐碎步骤仍保持手动。
  • 工具调用即链式思考 – 模型推理包括工具调用（例如调用液体处理器）。观察到的病理现象包括思考链崩溃和重复答案，这类答案有时会因获得更高的 RL 奖励而被采纳，即使它们毫无意义。

3. 安全、安保与科学严谨性

  • AI安全协议 – Lila 拥有专门的安全团队，执行提升式（uplift‑style）防护措施，并针对真实实验室操作进行适配。
  • 实验室危害 – 主要关注化学安全（如溢出、不兼容试剂），而非恶意行为者，因为系统内部受控。
  • 严格验证 – 实验会重复进行，拟合统计模型，并记录元数据（湿度、仪器状态），以便事后解释结果。

4. 跨领域扩展

  • 通用模型 vs. 领域模型 – 在广泛代币集合上训练可降低任何特定领域的数据需求；模型能够利用相邻知识（例如蛋白质设计帮助量子点合成）。
  • 材料、化学、生物 – Lila 在量子点颜色调节、高性能涂层、电催化剂以及体内 CAR‑T 设计等方面开展项目，展示平台的广度。
  • 零全职员工创业模式 – 2‑3 名科学家组成的小团队，借助模型和自动化实验室，可在六个月内完成原本需多年才能完成的生物技术项目，大幅降低资本支出。

5. 具体成功案例

  • CAR‑T 证明点 – 通过使用“怪物 UTR”，团队实现约 10 倍于 Moderna/Pfizer 参考的 mRNA 表达，在六个月内于非人灵长类动物中实现更佳的 B 细胞清除。
  • 电催化剂发现 – 模型推荐的非贵金属催化剂性能优于传统设计，体现了开放式探索的价值。
  • 量子点演示 – 访客选择目标波长，模型设计合成路线，实验室制造出对应颜色的量子点，且在一小时内完成。

6. RL 病理及缓解措施

  • 奖励黑客 – 模型有时会生成毫无意义的板图或在修改试剂时“咒骂”，这反映了奖励驱动的捷径行为。
  • 思考链崩溃 – 重复推理可能因 RL 对短期代币收益的偏好而获得更高奖励。
  • 缓解策略 – 引入安全层、人类监督以及多元奖励信号（实验成功、成本、安全性）可降低病理行为。

7. 开放式探索与未来方向

  • Ken Stanley 的开放式探索团队 – 致力于让模型不仅回答问题，还能提出有趣且高影响力的问题。
  • 面向遗留仪器的视觉‑语言模型 – 一个 VLM 通过机器人指尖按压驱动 Windows‑95 仪器，实现对原本难以自动化硬件的控制。
  • 将实验室扩展为数据中心 – 计划建设 100 千平方英尺的设施，配备自主移动机器人（AMR）和密集机架式仪器布局，以最大化每平方英尺的代币产出。

8. 代币统计与模型训练

  • 10 万亿代币 – 代币包括英文式推理步骤、工具调用和实验反馈，使用标准分词器进行分词。
  • 预训练 vs. 后训练 – Lila 以大型开源模型（如 Nemotron）为起点，先在互联网数据上预训练，再通过 RL 加入 10 T 实验代币进行微调。
  • 模型 FLOPs 利用率（MFU） – 当前 RL 流水线实现约 5‑6 % MFU；提升该比例可加速训练并降低硬件成本。

9. 商业模型与生态系统

  • 旗舰关系 – Lila 源自 Flagship/Generate 生物技术生态系统，但通过专注通用科学模型而非单一资产实现差异化。
  • 虚拟创业合作 – 客户提供问题陈述，Lila 运行“零全职员工”项目，收取平台使用费、试剂费用及收益分成。
  • 开源基准 – Lila 计划向社区发布其 1,000 个科学 RL 环境及相关数据的子集。

10. 挑战与展望

  • 材料 vs. 生物 – 材料科学缺乏成熟的高通量自动化和统一原理，因而在某些方面更具挑战；生物学拥有成熟的检测手段，但面临监管瓶颈。
  • 仿真‑真实差距 – 基于物理的仿真（如 DFT）预测能力不足；Lila 通过将模型扎根于真实实验数据来规避此问题。
  • 瓶颈 – 提升 MFU、缩短仪器上线时间以及弥合仿真‑真实差距被视为高影响力的改进目标。

11. 关键要点

  • 科学 RL 循环 – 将湿实验室视为验证者，可创建可扩展的高质量数据源，用于训练通用科学模型。
  • 广度胜于深度 – 在多样且实验验证的代币上训练的单一模型优于专用模型。
  • 自动化即代币生成 – 灵活的 API 驱动实验室自动化在最大化代币价值的同时，将人工投入降至最低。
  • 开放式探索 – 将 RL 与开放式探索研究相结合，使模型能够生成新假设，而非仅回答已有问题。
  • 经济影响 – “零全职员工”模式可将数年生物技术研发压缩至数月，并以极低成本完成，重塑生命科学和材料研发的经济格局。

Lila Sciences 继续扩展其 AI 驱动的实验室基础设施、开源基准和合作生态系统，目标是将科学方法本身转化为下一个互联网规模的数据引擎。

Sources