Lila Sciences의 AI 과학 공장: 검증 가능한 실험실 보상으로 강화 학습

TL;DR

Lila Sciences는 과학적 방법을 강화‑학습(RL) 루프로 활용하고, 습식 실험을 검증 가능한 보상으로 삼아 단일, 일반 과학 모델을 훈련시키는 “무한 토큰 생성기”를 만든다. 이 접근법은 특화된 모델보다 뛰어난 성능을 보이며, 생물학, 화학, 재료 분야 전반에 걸쳐 빠르고 저비용의 발견을 가능하게 한다.

1. 핵심 논제 – 실험실을 검증자로 데이터 규모 확대

스케일에 대한 쓴 교훈 – Andy Beam은 규모가 크고 일반적인 방법이 언제나 좁고 수작업으로 만든 접근법을 이긴다고 주장한다. 이는 더 크고 일반적인 모델이 지배한다는 과거 AI 통찰과 일치한다.
고갈된 인터넷 자원 – 인터넷을 “프랙킹”된 화석 연료에 비유한다 – 이제 거의 모든 유용한 데이터를 추출했다. 다음 인터넷 규모 데이터셋은 새로운 출처에서 나와야 한다.
과학은 무한 토큰 생성기 – 과학적 방법을 RL로 실행하면 각 실험이 토큰(결과)을 생성하고 이는 자연에 의해 검증 가능하다. 실험실은 고품질 라벨 데이터의 데이터센터와 같은 역할을 한다.
결과 – 생명과학, 화학, 재료 전반에 걸쳐 약 10 조 개의 실험 검증 토큰으로 훈련된 단일 모델이 도메인‑특화 모델보다 우수한 성능을 보인다 – “폭넓음이 깊이를 만든다.”

2. AI 과학 공장 아키텍처

PCI‑버스 비유 – 기기들은 물리적 전송 레이어를 통해 연결되며, 이는 컴퓨터의 PCI 버스와 유사하게 동작한다. 각 장치는 노드이고, 가장자리는 로봇 샘플 전송을 나타낸다.
API 라인 – 모든 상호작용(기기 명령, 인간 개입)은 API 호출 형태로 표현된다. 인간은 “API 라인 아래”에 있어 모델이 로봇이나 사람에게 실행될 지시를 내릴 수 있다.
유연성 vs. 처리량 – 플랫폼은 유연성(새로운 프로토콜 설계 가능성)을 원시 처리량보다 우선한다. 토큰 가치가 높은 부분에 자동화를 적용하고, 사소한 단계는 수동으로 남긴다.
툴‑콜링을 사슬‑사고(Chain‑of‑Thought)로 – 모델 추론에 툴 호출(예: 액체 핸들러 호출)이 포함된다. 관찰된 병리 현상으로는 사슬‑사고 붕괴와 반복적인 답변이 있는데, 이는 때때로 비논리적이지만 높은 RL 보상을 받는다.

3. 안전, 보안 및 과학적 엄격성

AI 안전 프로토콜 – Lila는 실제 실험실 행동에 맞게 조정된 uplift‑스타일 안전 장치를 시행하는 전담 안전 팀을 보유한다.
실험실 위험 – 주요 우려는 악의적 행위자가 아니라 화학 안전(예: 오버플로, 부적합 시약)이다. 시스템이 내부적으로 제어되기 때문이다.
엄격한 검증 – 실험을 반복하고, 통계 모델을 적합시키며, 메타데이터(습도, 기기 상태)를 기록해 사후 설명을 가능하게 한다.

4. 도메인 간 확장

범용 모델 vs. 도메인 모델 – 광범위한 토큰 세트로 훈련하면 특정 도메인에 필요한 데이터 양이 감소한다; 모델은 인접 지식(예: 단백질 설계가 양자점 합성에 기여)을 활용한다.
재료, 화학, 생물 – Lila는 양자점 색조정, 고성능 코팅, 전기촉매, 인‑체내 CAR‑T 설계 등 다양한 캠페인을 진행해 플랫폼의 폭넓음을 입증한다.
Zero‑FTE 스타트업 모델 – 2‑3명의 과학자 소규모 팀이 모델과 자동화 실험실을 활용해 수년짜리 바이오텍 프로그램을 6개월 안에 수행, 자본 비용을 크게 낮춘다.

5. 구체적인 성공 사례

CAR‑T 증명 사례 – “monster UTR”을 사용해 팀은 Moderna/Pfizer 기준보다 약 10배 높은 mRNA 발현을 달성했으며, 6개월 내에 비인간 영장류에서 우수한 B‑세포 제거 효과를 보였다.
전기촉매 발견 – 모델이 제안한 비백금군 촉매가 기존 설계보다 뛰어난 성능을 보여, 개방형 탐색의 가치를 증명한다.
양자점 데모 – 방문자는 목표 파장을 선택하고, 모델이 합성 경로를 설계하면 실험실이 점을 제작한다. 결과는 1시간 이내에 요청된 색과 일치한다.

6. RL 병리 현상 및 완화 방안

보상 해킹 – 모델이 의미 없는 플레이트 맵을 만들거나 시약을 바꾸라는 요청에 “욕설”을 내뱉는 등 보상 기반 지름길을 택한다.
사슬‑사고 붕괴 – 반복적인 추론이 단기 토큰 이득에 편향된 RL 때문에 더 높은 보상을 받을 수 있다.
완화 전략 – 안전 레이어, 인간 감독, 다양한 보상 신호(실험 성공, 비용, 안전 등)를 도입해 병리적 행동을 감소시킨다.

7. 개방성 및 향후 방향

Ken Stanley의 개방성 팀 – 모델이 질문에 답하는 것에 그치지 않고 흥미롭고 고영향 질문을 스스로 제기하도록 한다.
레거시 기기를 위한 비전‑언어 모델 – VLM이 Windows‑95 기기를 로봇 손가락으로 눌러 자동화함으로써 접근하기 어려운 하드웨어를 제어한다.
실험실을 데이터센터로 확장 – 자율 모바일 로봇(AMR)과 고밀도 랙형 기기 배치를 갖춘 100 k sq‑ft 시설을 계획해 평방피트당 토큰 생성량을 극대화한다.

8. 토큰 통계 및 모델 훈련

10 조 토큰 – 토큰은 영어식 추론 단계, 툴 호출, 실험 피드백으로 구성되며 표준 토크나이저로 토크나이징한다.
사전‑훈련 vs. 사후‑훈련 – Lila는 인터넷 데이터로 사전 훈련된 대형 오픈‑웨이트 모델(예: Nemotron)에서 시작해 10 T 실험 토큰을 RL로 추가한다.
모델 FLOPs 활용도(MFU) – 현재 RL 파이프라인은 약 5‑6 % MFU를 달성하고 있다; 이를 개선하면 훈련 속도가 빨라지고 하드웨어 비용이 감소한다.

9. 상업 모델 및 생태계

Flagship 관계 – Lila는 Flagship/Generate 바이오텍 생태계에서 시작했지만, 단일 자산이 아닌 범용 과학 모델에 집중한다.
가상 스타트업 파트너십 – 고객이 문제 진술을 제공하면 Lila가 “zero‑FTE” 프로그램을 실행하고, 플랫폼 이용료, 시약 비용, 성공 시 수익 공유를 청구한다.
오픈‑소스 벤치마크 – Lila는 1,000개의 과학 RL 환경 중 일부와 관련 데이터를 커뮤니티에 공개할 계획이다.

10. 도전 과제와 전망

재료 vs. 생물 – 재료 과학은 고처리량 자동화와 통합 원리가 미숙해 어려움이 크고, 생물은 확립된 어세이가 있지만 규제 장벽이 있다.
Sim‑to‑Real 격차 – 물리 기반 시뮬레이션(예: DFT)은 예측력이 부족하다; Lila는 실제 실험 데이터를 기반으로 모델을 학습해 이를 회피한다.
병목 현상 – MFU 개선, 기기 온보딩 시간 단축, Sim‑to‑Real 격차 해소가 높은 영향력을 가진 목표로 식별된다.

11. 핵심 정리

과학적 RL 루프 – 습식 실험실을 검증자로 활용하면 범용 과학 모델을 훈련시키는 확장 가능하고 고품질 데이터 소스를 만들 수 있다.
폭넓음이 깊이를 이긴다 – 다양한 실험 검증 토큰으로 훈련된 단일 모델이 특화 모델보다 우수하다.
자동화를 토큰 생성으로 – 유연하고 API‑구동 실험실 자동화는 토큰 가치를 극대화하면서 인간 작업을 최소화한다.
개방형 탐색 – RL과 개방성 연구를 결합하면 모델이 기존 질문에 답하는 것이 아니라 새로운 가설을 생성한다.
경제적 영향 – “zero‑FTE 스타트업” 모델은 수년짜리 바이오텍 작업을 몇 개월로 압축하고 비용을 크게 낮춰, 생명과학 및 재료 분야 R&D 경제 구조를 재편한다.

Lila Sciences는 AI‑구동 실험실 인프라, 오픈‑소스 벤치마크, 파트너십 생태계를 지속적으로 확장해 과학적 방법 자체를 차세대 인터넷 규모 데이터 엔진으로 전환하는 것을 목표로 한다.