MOLT Sinai 病院モデル：医療チームのメタファーとしての5か月間の自動バグ修正

要点

5か月間で、Cockroach Labs の MOLT Sinai「病院」パイプラインは、IBM Db2 マイグレーションサポートを2日間で追加し、LLM トークン費用は4,172ドルでした。これは、以前の9か月・160,000ドルを要した Oracle の取り組みと比較して、164倍速く、38倍安価であり、LLM エージェントに対する教育病院のメタファーが、劇的に低いコストとリスクで本番品質のコードを生み出せることを示しています。

なぜ教育病院のメタファーなのか？

結論： マイグレーションツールにおいて重要なのはスピードではなく品質です。病院モデルは、厳格な引き継ぎ、レビュー、文書化を強制します。

エージェントはコードを迅速に生成できますが、制御されていない出力は分散SQLデータベースでデータ破損のリスクをもたらします。
既存のエージェントファクトリー（例：Gas Town、Cursor の SQLite 再構築）は、データベースマイグレーションに必要な安全性の保証ではなく、スループットを最適化しています。
教育病院は、スキルレベルが不均一なスタッフによるリスクの高い作業、必須のセカンドオピニオン、文書化された引き継ぎを管理するための実証済みのフレームワークを提供します。

「私たちは、不均一な能力のスタッフによるリスクの高い作業を、必須の引き継ぎ、必須のセカンドオピニオン、そして引き継ぎがずさんな場合に何が問題になるかについての文献を用いて長年管理してきたモデルを探しました。そして、教育病院にたどり着きました。」 – Rafi Rafiss, Cockroach Labs

病院の役割とエージェント機能の対応

結論： 各役割が特定の責任を分離し、エージェントが越権するのを防ぎ、トレーサビリティを確保します。

役割	エージェントのプロンプト / 責任
トリアージナース	受信した GitHub イシューを分類し、受け入れるか拒否する。
フェロー	バグを再現し、診断ワークアップを作成し、コードに触れる前に詳細な治療計画を立てる。
レビュー担当アテンディング	計画とコードをバグ、リグレッション、セキュリティ問題についてレビューする独立した LLM インスタンス。
退院ナース	レビューが正しく実行されたか、CI がグリーンか、コミット履歴がクリーンかをマージ前に監査する。
医療部長	エージェントが解決できないケースのための人間のエスカレーション窓口。
サポート部門	担当ナース（停滞したステージを再実行）、感染管理（メインブランチの破損時にパイプラインをロック）、安全性（毎週のプロセスレビュー）、研究（新しい作業を提案）。

技術的実装

結論： ワークフロー全体は GitHub Actions とイシューラベルでオーケストレーションされ、ステートマシンを観察可能かつ再現可能にします。

状態追跡： イシューラベルが現在のステージを表します（例：triage-in、fellow-out）。ラベルを追加すると、対応する GitHub ワークフローがトリガーされます。
プロンプトのロード： 各ワークフローは役割固有のプロンプトをロードし、構造化されたメモ（）をチャートファイルに書き込み、下流のエージェントが利用できるようにします。
スキルファイルにエンコードされた安全ルール：
- 計画なしにコードはなく、レビューなしに計画はない。
- 即興はしない – スコープの変更は新しい計画とレビューを強制します。
- テストの近道はしない – 失敗したテストは、反証があるまで正しいものとして扱われます。
- 決して慌てない – 行き詰まったフェローは、エスカレーションの前に I-PASS ハンドオフを発行します。
- 退院ナースがレビュー担当者を監査 – レビュープロセスが遵守されたことを確認します。
- 前例ログ – エージェントは、人間の医療部長にエスカレーションする前に、追記専用ログを参照します。

本番環境での結果（2026年4月21日～9月11日）

結論： 病院パイプラインは、最小限の人間の介入と高い忠実度で100万行を超えるコードを提供しました。

指標	値
マージされた治療 PR	1,238
クローズされたイシュー	1,322
エージェント生成のフォローアップイシュー	1,299
後にリバートされた PR	7
人間の医療部長にエスカレーションされたイシュー	92
PR サイズの中央値	527 行追加

Db2 マイグレーションは、最初の大規模機能であり、2日未満で完了し、4,172ドルのトークンコストでした。
人間による承認モードは、顧客に出荷する前に品質を検証するために、最初の週の後に有効化されました。
同じパイプラインは、その後、現在プレビュー中の Migration Assistant（AI ガイドによる Postgres から CockroachDB へのマイグレーション）を生成しました。

コスト内訳とモデルの進化

結論： パイプラインが高価なモデル（Opus）から、計画に Fable を使用し、選択的にエスカレーションする階層的アプローチに移行するにつれて、トークンベースのコストは劇的に低下しました。

トークン総支出：135,000ドル（イシューあたり約84ドル）。
初期段階ではすべてのステップで Claude Opus を使用しました。後の段階では、計画に Fable に切り替え、実装には動的に選択されたモデルを使用し、イシューあたりのコストを削減しました。
コストのスパイクは、モデル切り替えのチューニングサイクルとワークロードの構成（UI 作業は画像処理のためにより高いトークン使用量を発生させる）に対応します。

自己改善：冗長なスキルファイル

結論： スキルファイルテキストの約4分の1は冗長であり、トークン使用量を増加させていました。削減により、測定可能な節約がもたらされます。

25個のスキルファイル（約10万語）の監査で、**23％**が削除可能であることがわかりました。
退院ナースは実行ごとに約21,800語（約29,000トークン）をロードします。冗長性は直接コストを増加させました。
今後の作業には、重複したルールを検出して排除するリンターの構築が含まれます。

学んだ教訓

うまくいったこと

ペルソナ設定 – 短い役割紹介（「あなたはフェローです…」）はエージェントに強力な文脈的基盤を与え、ニュアンスのある言語（例：丁寧なエスカレーションメッセージ）につながりました。
計画ファーストのレビュー – 計画の10％未満しか却下されませんでしたが、それらの却下は下流のバグを防ぎ、大量の手戻りを節約しました。
変更サイズの上限 – 1,000行を超える作業は自動的に分解され、各PRをレビュー可能に保ちます。
包括的な監査証跡 – すべてのアクション（計画、I-PASS、レビュー判定、トークン使用量）はコンパニオンブランチにアーカイブされ、完全な事後分析が可能です。

改善が必要な点

過剰な官僚主義 – エージェントが重複クローズアクションを作成したり、些細なUI調整をエスカレーションしたりして、不要なサイクルが発生することがありました。
無限の手戻りのためのサーキットブレーカー – 3回の手戻りラウンド後に安全レビューを実装しました。さらなる改良が進行中です。
自己生成バックログ – イシューのほぼ50％が自動生成されました。研究部門のスロットリングによりノイズが減少しました。
ジュニアエンジニアの学習機会 – 現在のモデルはシニアレベルのスループットを優先しています。人間が計画を作成し、エージェントからのフィードバックを受けてスキル開発を行う計画が進行中です。

コミュニティフィードバック（HN ハイライト）

「これは高品質なシステム設計の素晴らしい例のように感じます…このメタファーは複雑な関係を効率的にエンコードしています。」 – finnborge

「LLM とのロールプレイングは、素晴らしいコードを生み出す秘訣ではありません。」 – anonymous908213

「専用のチケットシステムではなく、なぜ GitHub イシューを使うのですか？」 – reachableceo

「素晴らしい投稿です – 現代の医療チームのプラクティスは AI エージェントによく適合します。」 – cs702

「パイプラインは多くの内部作業を生成しました。スロットリングが必要でした。」 – kinduff

これらのコメントは、メタファーへの熱意と、ツールの選択や官僚主義への懸念の両方を浮き彫りにしています。

次のステップ

結論： チームはコスト効率を改善し、ジュニアエンジニア向けの教育機能を拡張し、低リスクのイシュークラスに対して完全自律運用を検討します。

スキルファイルの冗長性の削減を続け、プロンプトリンターを追加します。
エージェントレビューによる人間作成の計画を有効にして、学習ループを構築します。
独立したテストで Db2 マイグレーションの正確性を検証します。
受け入れテストのためのマージ後「トラベルナース」ステージを実験します。
Sinai フレームワークをより広範な内部採用に開放します（すでに4つのリポジトリが使用しており、さらに計画中）。

MOLT Sinai 実験は、適切に設計された病院スタイルの LLM ワークフローが、本番データベースツールに必要な安全性の保証を維持しながら、複雑なエンジニアリングタスクを劇的に加速できることを示しています。