microsoft/SkillOpt

SkillOpt – 신경망처럼 에이전트 기술을 훈련하기

무엇인가 – SkillOpt는 동결된 LLM 기반 에이전트가 사용하는 기술 프롬프트를 훈련 가능한 파라미터로 취급하는 오픈소스 프레임워크입니다. 전통적인 딥러닝 스타일 최적화 루프(롤아웃 → 반영 → 집계 → 선택 → 업데이트)를 실행하여 검증용 점수가 향상될 때까지 마크다운 형식의 기술 파일을 편집합니다. 그 결과, 원래 에이전트에 추가 추론 비용 없이 다시 삽입할 수 있는 컴팩트한 best_skill.md 파일(수백~수천 토큰)이 생성됩니다.

왜 중요한가 – 현재 대부분의 에이전트 기술 파이프라인은 수작업으로 작성된 프롬프트, 강력한 LLM에서의 원샷 생성, 또는 임시적인 자기 수정에 의존합니다. 이러한 접근 방식은 재현성이 없으며 성능 향상이 일관되지 않는 경우가 많습니다. SkillOpt는 기술 자체에 기울기 기반 최적화의 엄격함을 적용하여, 다양한 벤치마크와 모델 패밀리에서 측정 가능한 성능 향상을 제공하면서도 배포 부담을 최소화합니다.

주요 기능 (README에 설명됨)

• 에포크, 배치 크기, 학습률 유사 예산, 검증 게이트를 갖춘 훈련 루프 – 모든 것이 모델 가중치가 아닌 기술 문서 위에서 작동합니다.
• 제한된 추가/삭제/교체 편집을 제안하는 최적화 모델; 편집은 검증 점수를 높일 경우에만 승인됩니다.
• 제로 런타임 오버헤드 – 최종 기술 파일은 일반 마크다운 프롬프트이며, 타겟 모델은 그대로 유지됩니다.
• 다중 백엔드 지원 – OpenAI, Azure, Claude, Qwen, MiniMax, Codex, Copilot 등 플러그인 백엔드 시스템을 통해 지원됩니다.
• 벤치마크 및 결과 – 6개의 내장 벤치마크, 7개의 타겟 모델, 3개의 실행 허브; 무기술 기준 대비 약 +20~25점의 향상 보고, 평가된 52개 셀 중 모든 셀에서 최고 또는 최고와 동률 기록.
• SkillOpt-Sleep – 오프라인 "자기 진화" CLI (skillopt-sleep)로 과거 에이전트 세션을 수집하고 재실행하며, 검증된 편집을 검증 게이트 뒤에 통합합니다.
• 웹UI 대시보드 – 선택적 Gradio 인터페이스로 훈련 실행 모니터링 가능 (포트, 호스트, 공유 옵션).
• 확장 가능 – 문서화된 계약을 따르면 새로운 백엔드나 벤치마크를 추가 가능; 예제 백엔드 및 환경 패키지 제공.

일반 워크플로우

1. pip install skillopt로 설치 (웹UI용은 편집 가능 설치도 가능).
2. 백엔드 (예: openai_chat)와 벤치마크 환경 (예: searchqa) 설정.
3. 훈련 CLI 실행 → 롤아웃 반복, 점수 수집, 최적화 모델이 기술 마크다운 편집.
4. 검증 세트로 검증; 검증 점수가 향상되면 편집 커밋.
5. 결과로 생성된 best_skill.md를 원래 동결된 에이전트와 함께 배포 – 추가 API 호출 필요 없음.

누가 사용해야 하는가 – 프롬프트 엔지니어링을 실험하는 연구자, LLM 기반 코딩 어시스턴트를 개발하는 개발자, 또는 기저 모델 재학습 없이 에이전트 프롬프트를 체계적으로 개선하고 싶은 누구나.

더 알아보기 – README에 링크된 전체 문서, 재현 가이드, 기술 블로그; 논문(arXiv:2605.23904)은 상세한 방법론과 아블레이션을 제공합니다.