skilltraining-project/skill-training

Skill training with a corruption and reconstruction loop: train an agent's skill library, not its weights.

해결하는 문제

전문가가 만든 작업은 단계별 지침으로 설명하기 어렵습니다. 스킬 트레이닝을 통해 에이전트는 완성된 인간 산출물에서 직접 이러한 숨은 기술을 배울 수 있습니다——모델 미세 조정 없이, 수동 규칙 작성 없이, 보상 신호나 성공 라벨도 필요 없습니다. 읽기 쉽고 편집 가능한 스킬 라이브러리를 생성하며, 에이전트의 성능을 측정 가능하게 향상시키고 다른 모델로 전이됩니다.

작동 방식

핵심 아이디어는 네 단계로 구성된 루프입니다:

  1. 손상 – 전문 각본을 간결한 스토리 개요로 압축하여 기술 수준의 세부 사항을 제거합니다.
  2. 재구성 – 에이전트에게 스킬 카드 세트를 사용하여 전체 각본을 재구성하도록 요청합니다.
  3. 비교 – 에이전트의 초안과 원본 인간 작업을 대조하고 차이점을 설명합니다.
  4. 업데이트 – 그 피드백을 수정된 스킬 카드로 변환하며, 각 카드는 작은 Markdown 파일로 저장되고 Git 기록에 커밋됩니다.

에이전트의 가중치는 고정된 상태로 유지됩니다. 외부 스킬 라이브러리만 변경됩니다. 각 커밋은 검사 가능하고, 되돌릴 수 있으며, 재사용 가능합니다. 훈련에는 새로운 주석이나 외부 보상 모델이 필요 없습니다.

대상 독자

GPU 집약적 미세 조정을 피하고, 도메인 전문가를 고용하여 스킬 규칙을 작성하지 않고, 성공 신호에 의존하지 않으면서 에이전트의 도메인 전문성을 향상시키려는 연구자와 실무자에게 적합합니다. 폐쇄형 모델에서도 작동하고, 모델 업그레이드에도 견디며, 상세한 지침이나 라벨은 없지만 완성된 인간 작업의 코퍼스가 있을 때 특히 유용합니다.

하이라이트

  • 라벨 없음, 보상 없음 – 인간 산출물 자체가 교사입니다.
  • 읽고 편집 가능한 스킬 – 학습된 각 규칙은 작은 Markdown 카드이며, 각 업데이트는 Git 커밋입니다.
  • 전이되는 측정 가능한 이점 – 전문 단편 드라마 작품으로 훈련된 라이브러리는 보류된 에피소드에서 측정된 여섯 가지 쓰기 행동을 모두 개선하고, 75건의 블라인드 독자 판정에서 49승을 거두며, 다른 모델(예: Kimi K2.6, Opus 4.8)도 지원합니다.
  • 일반 하드웨어에서 실행 – Python 표준 라이브러리만 필요하며 GPU나 무거운 의존성이 없습니다.
  • 완전히 감사 가능 – 각 훈련 실행은 생성된 스크립트, 손실 보고서, 추적, 스킬 라이브러리의 Git 기록을 runs/ 디렉토리에 기록합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트