MOLT Sinai 병원 모델: 의료팀 은유로서의 5개월간 자동 버그 수정

핵심 요점

5개월 동안 Cockroach Labs의 MOLT Sinai "병원" 파이프라인은 2일 만에 IBM Db2 마이그레이션 지원을 추가했으며 LLM 토큰 비용은 $4,172에 불과했습니다. 이는 이전 9개월, $160,000의 Oracle 작업보다 164배 빠르고 38배 저렴한 것으로, LLM 에이전트에 대한 교육 병원 은유가 극적으로 낮은 비용과 위험으로 프로덕션 등급 코드를 생산할 수 있음을 보여줍니다.

교육 병원 은유가 필요한 이유는?

결론: 품질이 속도보다 마이그레이션 도구를 좌우합니다. 병원 모델은 엄격한 인계, 검토, 문서화를 강제합니다.

  • 에이전트는 코드를 빠르게 생성할 수 있지만, 통제되지 않은 출력은 분산 SQL 데이터베이스에서 데이터 손상 위험을 초래합니다.
  • 기존 에이전트 팩토리(예: Gas Town, Cursor의 SQLite 재구축)는 데이터베이스 마이그레이션에 필요한 안전 보장이 아닌 처리량에 최적화되어 있습니다.
  • 교육 병원은 숙련도가 고르지 않은 직원이 수행하는 고위험 작업, 필수 2차 소견, 문서화된 인계를 관리하는 검증된 프레임워크를 제공합니다.

"우리는 숙련도가 고르지 않은 직원이 수행하는 고위험 작업을 관리하고, 필수 인계, 필수 2차 소견, 그리고 인계가 부실할 때 무엇이 잘못되는지에 대한 문헌을 갖춘 모델을 찾았습니다. 그래서 우리는 교육 병원에 도달했습니다." – Rafi Rafiss, Cockroach Labs

병원 역할과 에이전트 기능 매핑

결론: 각 역할은 특정 책임을 분리하여 에이전트가 범위를 넘어서는 것을 방지하고 추적 가능성을 보장합니다.

역할 에이전트 프롬프트 / 책임
분류 간호사 들어오는 GitHub 이슈를 분류하고, 수용하거나 거부합니다.
펠로우 버그를 재현하고, 진단 워크업을 작성하며, 코드를 건드리기 전에 상세한 치료 계획을 수립합니다.
검토 담당 교수 계획과 코드를 버그, 회귀, 보안 문제에 대해 검토하는 별도의 LLM 인스턴스입니다.
퇴원 간호사 병합 전에 검토가 올바르게 수행되었는지, CI가 통과했는지, 커밋 기록이 깨끗한지 감사합니다.
의료원장 에이전트가 해결할 수 없는 사례에 대한 인간 에스컬레이션 지점입니다.
지원 부서 책임 간호사(중단된 단계 재실행), 감염 관리(메인 브랜치 손상 시 파이프라인 잠금), 안전(주간 프로세스 검토), 연구(새 작업 제안).

기술 구현

결론: 전체 워크플로는 GitHub Actions와 이슈 라벨로 오케스트레이션되어 상태 머신을 관찰 가능하고 재현 가능하게 만듭니다.

  • 상태 추적: 이슈 라벨은 현재 단계(예: triage-in, fellow-out)를 나타냅니다. 라벨을 추가하면 해당 GitHub 워크플로가 트리거됩니다.
  • 프롬프트 로딩: 각 워크플로는 역할별 프롬프트를 로드하고 구조화된 메모(<!-- SINAI:TREATMENT_PLAN -->)를 차트 파일에 작성하여 다운스트림 에이전트가 사용할 수 있게 합니다.
  • 스킬 파일에 인코딩된 안전 규칙:
    • 계획 없이 코드 없음, 검토 없이 계획 없음.
    • 즉흥적으로 하지 말 것 – 범위 변경은 새 계획과 검토를 강제합니다.
    • 테스트 단축 금지 – 실패하는 테스트는 반증될 때까지 올바른 것으로 취급합니다.
    • 절대 허둥대지 말 것 – 막힌 펠로우는 에스컬레이션 전에 I-PASS 인계를 발행합니다.
    • 퇴원 간호사가 검토자를 감사 – 검토 프로세스가 준수되었는지 확인합니다.
    • 선례 로그 – 에이전트는 인간 의료원장에게 에스컬레이션하기 전에 추가 전용 로그를 참조합니다.

프로덕션 결과 (2026년 4월 21일 – 9월 11일)

결론: 병원 파이프라인은 최소한의 인간 개입과 높은 충실도로 백만 줄 이상의 코드를 제공했습니다.

지표 값
병합된 치료 PR 1,238
해결된 이슈 1,322
에이전트 생성 후속 이슈 1,299
이후 되돌려진 PR 7
인간 의료원장에게 에스컬레이션된 이슈 92
중앙값 PR 크기 527줄 추가
  • Db2 마이그레이션은 첫 번째 대규모 기능으로 2일 미만에 완료되었으며 $4,172 토큰 비용이 들었습니다.
  • 첫 주 후 고객에게 제공하기 전에 품질을 검증하기 위해 인간 승인 모드가 활성화되었습니다.
  • 동일한 파이프라인은 이후 현재 미리 보기 중인 Migration Assistant(AI 안내 Postgres-to-CockroachDB 마이그레이션)를 생성했습니다.

비용 분석 및 모델 진화

결론: 파이프라인이 비싼 모델(Opus)에서 계획을 위한 Fable과 선택적 에스컬레이션을 사용하는 계층적 접근 방식으로 전환됨에 따라 토큰 기반 비용이 급격히 감소했습니다.

  • 총 토큰 지출: $135,000 (이슈당 약 $84).
  • 초기 단계에서는 모든 단계에 Claude Opus를 사용했습니다. 이후 단계에서는 계획을 위해 Fable로 전환하고 구현을 위해 동적으로 모델을 선택하여 이슈당 비용을 줄였습니다.
  • 비용 급증은 모델 전환 튜닝 주기와 작업 부하 구성(UI 작업은 이미지 처리로 인해 더 높은 토큰 사용량 발생)에 해당합니다.

자기 개선: 중복 스킬 파일

결론: 스킬 파일 텍스트의 약 4분의 1이 중복되어 토큰 사용량을 증가시켰습니다. 정리하면 측정 가능한 비용 절감 효과를 얻을 수 있습니다.

  • 25개 스킬 파일(약 10만 단어) 감사에서 23% 제거 가능한 것으로 나타났습니다.
  • 퇴원 간호사는 실행당 약 21,800단어(약 29,000토큰)를 로드하며, 중복은 비용을 직접 증가시켰습니다.
  • 향후 작업에는 중복 규칙을 감지하고 제거하는 린터 구축이 포함됩니다.

교훈

효과가 있었던 것

  • 페르소나 프레이밍 – 짧은 역할 소개("당신은 펠로우입니다...")는 에이전트에게 강력한 상황적 근거를 제공하여 미묘한 언어(예: 정중한 에스컬레이션 메시지)를 이끌어냈습니다.
  • 계획 우선 검토 – 계획의 10% 미만이 거부되었지만, 이러한 거부는 다운스트림 버그를 방지하여 많은 재작업을 절약했습니다.
  • 변경 크기 상한선 – 1,000줄이 넘는 모든 작업은 자동 분해를 트리거하여 각 PR을 검토 가능하게 유지합니다.
  • 포괄적인 감사 추적 – 모든 작업(계획, I-PASS, 검토 결과, 토큰 사용량)은 동반 브랜치에 보관되어 전체 사후 분석을 가능하게 합니다.

개선이 필요한 부분

  • 과도한 관료주의 – 에이전트가 중복 닫기 작업을 생성하거나 사소한 UI 조정을 에스컬레이션하여 불필요한 주기를 초래하는 경우가 있었습니다.
  • 끝없는 재작업을 위한 회로 차단기 – 3회 재작업 후 안전 검토를 구현했습니다. 추가 개선이 진행 중입니다.
  • 자체 생성 백로그 – 이슈의 거의 50%가 자동 생성되었습니다. 연구 부서를 제한하여 노이즈를 줄였습니다.
  • 주니어 엔지니어를 위한 학습 기회 – 현재 모델은 시니어 수준의 처리량을 선호합니다. 인간이 계획을 작성하고 에이전트 피드백을 받아 기술을 개발할 수 있도록 하는 계획이 진행 중입니다.

커뮤니티 피드백 (HN 하이라이트)

"이것은 고품질 시스템 설계의 훌륭한 예처럼 느껴집니다... 은유는 복잡한 관계를 효율적으로 인코딩합니다." – finnborge

"LLM과 역할극을 하는 것이 놀라운 코드를 만드는 비결은 아닙니다." – anonymous908213

"전용 티켓 시스템 대신 GitHub 이슈를 사용하는 이유는 무엇인가요?" – reachableceo

"훌륭한 게시물입니다 – 현대 의료팀 관행은 AI 에이전트에 잘 적용됩니다." – cs702

"파이프라인이 많은 내부 작업을 생성했습니다. 제한이 필요했습니다." – kinduff

이러한 댓글은 은유에 대한 열정과 도구 선택 및 관료주의에 대한 우려를 모두 강조합니다.

다음 단계

결론: 팀은 비용 효율성을 개선하고, 주니어 엔지니어를 위한 교육 기능을 확장하며, 저위험 이슈 클래스에 대해 완전 자동 운영을 탐구할 것입니다.

  • 스킬 파일 중복 제거를 계속하고 프롬프트 린터를 추가합니다.
  • 학습 루프를 만들기 위해 에이전트 검토가 포함된 인간 작성 계획을 활성화합니다.
  • 독립적인 테스트로 Db2 마이그레이션의 정확성을 검증합니다.
  • 병합 후 "여행 간호사" 단계를 실험하여 승인 테스트를 수행합니다.
  • Sinai 프레임워크를 더 넓은 내부 채택을 위해 개방합니다(이미 4개 리포지토리에서 사용 중이며 더 계획 중).

MOLT Sinai 실험은 잘 설계된 병원 스타일 LLM 워크플로가 프로덕션 데이터베이스 도구에 필요한 안전 보장을 유지하면서 복잡한 엔지니어링 작업을 극적으로 가속화할 수 있음을 보여줍니다.

Sources

관련

  • Dispatch
    Project Glasswing: Mythos Preview를 활용한 AI 기반 취약점 연구의 확장

    Cloudflare는 Anthropic의 Mythos Preview의 능력을 탐구하며, 대규모로 공격 가능한 취약점을 찾고 검증하는 데 설계된 정교한 다단계 에이전트 하네스를 상세히 설명합니다.

  • Dispatch
    Linear CI 최적화: AI 기반 개발의 성능 저하 문제 해결

    Linear는 인프라 업그레이드, 게이팅 작업 최적화, 설정 오버헤드 감소, 테스트 실행 효율성 향상을 통해 풀 리퀘스트 대기 시간을 단축하고 테스트당 러너 시간을 절반으로 줄였습니다.

  • Dispatch
    Microsoft‑Decision‑1: 빠르고 저렴한 의사결정 점수화 모델 – 정의, 성능, 중요성

    Microsoft‑Decision‑1은 90억 파라미터 의사결정 점수화 모델로, 객관식 질문을 단일 패스에서 보정된 확률 점수로 변환하여 GPT‑6 Sol보다 35배 낮은 지연 시간과 최대 14배 낮은 비용을 제공하면서 Jev‑Bench의 Jev‑Bench‑1.0‑Large와 같은 선도 모델의 정확도와 동일하거나 더 나은 성능을 보여줍니다. 이 모델은 미세 조정된 Qwen‑3.5‑9B 백본을 기반으로 하며, 나중에 Microsoft AI(MAI) 및 OpenAI 모델로 재기반을 잡을 예정입니다. 이 모델은 현재 Microsoft Foundry 및 OpenRouter를 통해 사용할 수 있으며, 입력 토큰 100만 개당 $0.042 USD(출력은 무료)의 비용이 들고, 다양한 에이전트, 안전 중요 및 분류 워크로드에 적합합니다.

  • Dispatch
    Anthropic의 효과적인 AI 에이전트 구축 – 실용적인 패턴 및 가이드라인

    Anthropic은 LLM 증강 에이전트 및 워크플로우 구축을 위한 실용적인 패턴을 개략적으로 설명하며, 단순한 결합형 설계, 각 패턴의 사용 시점, 도구 엔지니어링을 위한 모범 사례를 강조합니다.

  • Dispatch
    Searchlight Cyber wp2shell WordPress RCE discovered with GPT‑5.6 Sol Ultra for $25

    Searchlight Cyber는 GPT‑5.6 Sol Ultra를 이용해 WordPress Batch API의 사전 인증 SQL 인젝션을 발견하고 이를 원격 코드 실행으로 연결했습니다. 비용은 단 $25에 불과했으며, 이러한 제로데이에 대해 익스플로잇 브로커가 최대 $500 k를 지불한다는 점을 보여줍니다.