Claude Opus 4.6 과학 컴퓨팅을 위한 장기 실행 에이전트 워크플로우

TL;DR

Anthropic은 Claude Opus 4.6이 HPC 클러스터에서 장기 실행 자율 코딩 에이전트로 작동하여 CLASS 참조 구현과 비교하여 하위 퍼센트 정확도로 미분 가능한 우주론적 볼츠만 솔버를 며칠 만에 완성할 수 있는 워크플로우를 공개했습니다. 이는 에이전트 기반 코드 생성이 잘 정의된 과학적 작업에 대해 수개월의 전문가 노력을 며칠로 압축할 수 있음을 보여줍니다.

자율 에이전트가 이제 과학 코드에 적합한 이유

결론: LLM의 장기 지평 추론 능력이 최근 개선되면서 에이전트가 최소한의 인간 감독으로 작동하여 높은 수준의 목표를 실행 가능한 연구 프로그램으로 전환할 수 있게 되었습니다.

과학자들은 전통적으로 AI 에이전트를 단계별로 안내했습니다. 모델이 장기 지평 작업에서 훨씬 더 우수해짐에 따라(시간 지평에 대한 Metr 연구 참조), 새로운 패러다임이 등장합니다: 목표를 지정하고, 에이전트 팀을 시작하고, 자율적으로 반복하게 하는 것입니다. 잘 정의되고, 명확한 성공 기준이 있으며, 가끔 인간의 점검을 허용하는 작업(예: 수치 솔버 재구현 또는 레거시 Fortran 포팅)이 이 모델에 적합합니다.

Anthropic의 초기 C 컴파일러 프로젝트는 대규모로 이 접근 방식을 입증했습니다(약 2,000개의 Claude 세션이 Linux 커널 지원 컴파일러를 구축). 현재 작업은 단일 순차 에이전트와 하위 에이전트가 긴밀하게 결합된 파이프라인을 처리할 수 있는 과학 컴퓨팅에 이 패턴을 적용합니다.

프로젝트 개요: 미분 가능한 볼츠만 솔버

결론: Claude Opus 4.6은 CLASS 참조와 1% 미만의 차이를 달성하는 JAX 기반 미분 가능한 우주론적 볼츠만 솔버를 만드는 작업을 맡았습니다.

대상 코드는 결합된 광자, 중입자, 중성미자 및 암흑 물질 방정식을 진화시켜 우주 마이크로파 배경(CMB) 파워 스펙트럼을 예측합니다. 미분 가능한 구현은 그래디언트 기반 추론을 가능하게 하여 Planck 및 Simons Observatory와 같은 관측에 대한 매개변수 추정을 획기적으로 가속화합니다.

주요 사항:

  • 저자 Siddharth Mishra-Sharma는 도메인 전문가가 아닙니다. 목표는 에이전트가 최소한의 조종으로 성공할 수 있는지 테스트하는 것이었습니다.
  • JAX의 기존 미분 가능한 솔버는 수개월에서 수년의 전문가 노력이 필요했고 CLASS 기능의 일부만 다루었습니다.
  • 성공 지표는 주요 과학 출력에서 CLASS와 0.1% 일치로, 일반적인 CLASS-CAMB 일치와 일치합니다.

계획 및 지침 설계 (CLAUDE.md)

결론: 전달물, 설계 결정 및 변경 가능한 규칙을 인코딩하는 잘 작성된 CLAUDE.md 파일이 에이전트의 중앙 조정 아티팩트입니다.

  1. 높은 수준의 목표 – CLASS와 완전한 기능 패리티를 달성하고, 완전히 미분 가능하며, 0.1% 정확도 목표를 충족합니다.
  2. 반복적 개선 – 연구자는 계획이 안정될 때까지 Claude와 반복합니다. Claude는 실행 중에 CLAUDE.md를 편집하여 새로운 통찰력을 포착할 수 있습니다.
  3. 위치 – CLAUDE.md는 저장소 루트에 있으며 Claude Code에서 특별히 취급되어 세션 전반에 걸쳐 컨텍스트에 유지됩니다.

프로젝트의 공개 CLAUDE.md는 GitHub에서 볼 수 있습니다(연결된 파일 참조). 계획이 초기 스케치에서 상세한 로드맵으로 어떻게 진화하는지 보여줍니다.

영구 메모리: CHANGELOG.md 파일

결론: 구조화된 진행 파일(CHANGELOG.md)은 에이전트의 장기 메모리 역할을 하여 반복적인 막다른 길을 방지하고 정확도 이정표를 문서화합니다.

Claude는 다음을 기록하도록 지시받았습니다:

  • 현재 상태 및 완료된 작업
  • 설명이 포함된 실패한 접근 방식(예: "Tsit5 ODE 너무 뻣뻣함 → Kvaerno5로 전환")
  • 주요 체크포인트에서의 정확도 표
  • 알려진 제한 사항

변경 로그는 공개적으로 볼 수 있으며 다른 연구자가 감사할 수 있는 실험 노트 스타일의 기록을 보여줍니다.

테스트 오라클 및 회귀 안전성

결론: 신뢰할 수 있는 테스트 오라클(여기서는 CLASS C 소스)은 에이전트에게 진행 상황을 측정하고 회귀를 피할 수 있는 객관적인 신호를 제공합니다.

Claude는 다음을 수행하도록 지시받았습니다:

  • JAX 구현을 CLASS 출력과 비교하는 단위 테스트를 생성합니다.
  • 각 코드 변경 후 테스트 스위트를 지속적으로 실행합니다.
  • 시간이 지남에 따라 테스트 범위를 확장합니다(처음에는 단일 fiducial 매개변수 지점, 나중에는 더 넓은 그리드).

이 오라클은 자율 루프가 개방형 과학적 발견에 의존하지 않고 정량화 가능한 성공 지표를 갖도록 보장합니다.

Git 기반 조정

결론: 에이전트가 의미 있는 작업 단위 후에 커밋하도록 요구하면 복구 가능하고 감사 가능한 기록이 생성되고 에이전트가 통과하는 테스트 스위트를 유지하도록 강제합니다.

CLAUDE.md의 일반적인 지침 스니펫:

의미 있는 작업 단위 후에 커밋하고 푸시합니다.
각 커밋 전에 `pytest tests/ -x -q`를 실행합니다.
기존 통과 테스트를 깨뜨리는 코드를 커밋하지 마십시오.

따라서 Git 기록은 진행 상황 대시보드와 컴퓨팅 할당이 예기치 않게 종료될 경우 안전망 역할을 겸합니다.

HPC에서의 실행 루프 (SLURM + tmux)

결론: SLURM 할당 노드의 tmux 세션 내에서 Claude Code를 실행하면 완전히 손을 대지 않고 실행할 수 있습니다. 연구자는 분리했다가 간헐적으로 진행 상황을 확인할 수 있습니다.

워크플로우 단계:

  1. 로컬에서 CLAUDE.md를 초안 작성하고 확정합니다.
  2. tmux 내에서 Claude Code를 시작하는 SLURM 작업을 제출합니다.
  3. tmux에 연결하고 초기 지시(예: "CHANGELOG.md를 읽고 다음 작업 선택")를 제공한 다음 분리합니다.
  4. 필요에 따라 다시 연결하여 방향을 조정하거나 로그를 검사합니다.

게시물에는 샘플 SLURM 스크립트(간결함을 위해 여기서는 생략)가 포함되어 있으며 연구자가 줄을 서서 기다리는 동안 휴대폰에서 진행 상황을 모니터링한 방법을 보여줍니다.

Ralph 루프: 에이전트 게으름 방지

결론: Ralph 루프는 에이전트에게 완료를 반복적으로 확인하도록 요청하여 장기 실행 작업의 조기 종료를 방지합니다.

구현 세부 사항:

  • Claude Code에서 /plugin을 통해 Ralph 플러그인을 설치합니다.
  • 최대 반복 횟수(예: 20)와 "DONE" 종료 토큰으로 /loop를 호출합니다.
  • 루프는 각 반복 후 에이전트에게 작업이 실제로 사양을 충족하는지 묻습니다. 그렇지 않으면 에이전트가 계속합니다.

이 패턴은 모델이 추가 작업을 피하기 위해 완료되었다고 주장하는 "에이전트 게으름" 현상을 완화합니다.

결과: 정확도 궤적 및 실용적 관찰

결론: Claude는 며칠 내에 CMB 각도 파워 스펙트럼에서 CLASS와 하위 퍼센트 일치를 달성했지만 솔버는 아직 프로덕션 준비가 되지 않았습니다.

  • 정확도: 플롯은 오류가 꾸준히 감소하여 여러 반복 후 1% 미만에 도달함을 보여줍니다.
  • 테스트 범위 격차: 초기 단계에서는 단일 fiducial 지점만 테스트하여 버그 감지가 제한되었습니다.
  • 기본적인 실수: 에이전트는 때때로 게이지 규칙을 잘못 처리하고 도메인 전문가가 즉시 알아차릴 수 있는 막다른 버그를 추구했습니다.
  • 학습 부작용: 연구자는 부지런한 박사후 연구원의 실험 노트처럼 읽히는 커밋 로그를 읽음으로써 상당한 도메인 지식을 얻었습니다.

최종 솔버가 모든 영역의 정확도 요구 사항을 충족하지는 않지만, 실험은 자율 에이전트가 잘 정의된 과학 소프트웨어 작업에 대해 수개월의 전문가 노력을 며칠로 압축할 수 있음을 검증합니다.

과학 연구 워크플로우에 대한 시사점

결론: 컴퓨팅 리소스를 사용할 수 있을 때 에이전트를 밤새 실행하면 측정 가능한 진행 상황이 생성되어 유휴 컴퓨팅 시간을 생산적인 연구로 전환할 수 있습니다.

실험은 과학자들이 시간을 할당하는 방식의 변화를 시사합니다:

  • 유휴 에이전트의 기회 비용 – 자율 세션을 시작하지 않는 것은 훈련 작업을 실행하지 않는 것과 유사합니다. 이는 진행 손실을 나타냅니다.
  • 확장성 – 이 패턴은 명확한 참조 구현과 정량화 가능한 성공 지표가 있는 다른 도메인(예: 수치 PDE 솔버, 데이터 파이프라인 마이그레이션)에 적용될 수 있습니다.
  • 인간의 역할 – 연구자는 단계별 코딩에서 높은 수준의 오케스트레이션, 계획 개선 및 결과 해석으로 이동합니다.

워크플로우 재현을 위한 핵심 체크리스트

결론: 다음 체크리스트는 장기 실행 Claude Code 프로젝트를 실행하는 데 필요한 필수 구성 요소를 포착합니다.

  1. CLAUDE.md 파일에 높은 수준의 목표를 정의합니다.
  2. CHANGELOG.md 진행 로그로 영구 메모리를 설정합니다.
  3. 테스트 오라클을 생성합니다(참조 구현 또는 정량적 지표).
  4. 커밋 및 테스트 규율을 강제하도록 Git 후크를 구성합니다.
  5. HPC 환경을 준비합니다(SLURM, tmux, Claude Code 바이너리).
  6. Ralph 플러그인을 설치하고 /loop 종료 조건을 구성합니다.
  7. 작업을 시작하고 분리한 다음 Git 또는 가끔 SSH를 통해 모니터링합니다.

이 단계를 따르면 Anthropic이 시연한 자율 개발 파이프라인을 재현할 수 있습니다.

전체 코드, 변경 로그 및 CLAUDE.md 파일은 프로젝트의 GitHub 저장소에서 공개적으로 사용할 수 있습니다.

Sources