Fergana-Labs/stash

Open-source infrastructure for agents that learn from experience. Capture production traces and turn lessons into reusable knowledge and skills.

Stash란 무엇인가

Stash는 AI 에이전트가 수행하는 작업을 기록하고, 상호작용 중 유용한 부분을 유지하며, 향후 에이전트 실행에서 호출할 수 있는 재사용 가능한 '스킬'로 변환할 수 있는 오픈소스 플랫폼입니다. 제공 기능은 다음과 같습니다:

추적 수집 – 실행 중 발생한 프롬프트, 도구 호출, 응답 및 인간의 수정 사항을 캡처하는 훅 또는 API.
큐레이션된 지식 저장소 – 원시 추적을 지속적이고 검색 가능한 '메모리 위키' 페이지로 변환하는 백그라운드 서비스.
스킬 생성 – 저장된 교훈은 SKILL.md 파일(지침 및 자산 세트)로 패키징할 수 있으며, 에이전트가 설치하고 자동으로 최신 상태를 유지할 수 있습니다.
보상 모델 루프 – 추적에서 선호도 쌍을 추출하고, 보상 모델을 훈련하며, 해당 모델을 사용하여 프롬프트 개선을 제안하거나 새 스킬을 생성하는 선택적 기능(GEPA 시스템을 통해).

이 모든 것은 Python SDK, REST API, 명령줄 클라이언트 및 'MCP'(아마도 모델 제어 평면)를 통해 노출되므로 기존 에이전트 파이프라인에 통합할 수 있습니다.

왜 중요한가

프로덕션에서 학습 – 실제 환경의 에이전트는 많은 암묵적 피드백(성공, 실패, 인간 편집)을 생성합니다. Stash는 이 데이터를 버리지 않고 캡처합니다.
인간 참여 루프 – 검토자는 응답을 강조하고 주석을 추가할 수 있습니다. Stash는 주석을 원본 추적과 함께 기록하여 임시 수정을 공식 지식으로 전환합니다.
재사용 가능하고 버전 관리된 지침 – 교훈을 SKILL.md 파일로 변환함으로써 기본 모델을 재훈련하지 않고도 동일한 지침을 여러 에이전트나 실행 간에 공유할 수 있습니다.
폐쇄 루프 개선 – 보상 모델 구성 요소는 추적에서 파생된 선호도를 자동으로 프롬프트 최적화 또는 스킬 생성을 구동하는 신호로 변환하여 지속적인 개선을 가능하게 합니다.

누가 사용할 수 있는가

대상	혜택
LLM 기반 제품 팀	지원 채팅 에이전트의 실패를 캡처하고 재사용 가능한 문제 해결 가이드로 변환하며 프롬프트를 실제 지표에 맞게 조정합니다.
자율 에이전트를 구축하는 R&D 랩	도구 호출 기록과 인간 수정 사항을 저장하고 큐레이션된 지식이나 보상 신호로 피드백하여 빠른 반복을 가능하게 합니다.
DevOps / MLOps 엔지니어	백엔드 서비스를 배포하고, CLI를 사용하여 에이전트에 스킬을 설치하며, 보상 모델 훈련 파이프라인을 모니터링합니다.
RLHF / 선호도 학습 연구자	추적에서 파생된 선호도 쌍과 내장된 보상 모델 훈련 워크플로우를 실험합니다.

시작하는 방법

스택 실행 – docs/running-stash.md에 따라 백엔드 서비스(Docker compose 등)를 시작하거나 joinstash.ai의 호스팅 버전을 사용합니다.
에이전트 계측 – 제공된 SDK 훅(또는 REST API)을 추가하여 각 실행이 프롬프트, 도구 호출, 응답 및 인간 수정 사항을 Stash로 보내도록 합니다.
큐레이션 및 검토 – 웹 UI를 사용하여 문제가 있는 응답을 강조하고, 검토자 주석을 추가하고, 선호도 쌍을 승인합니다.
보상 모델 훈련(선택 사항) – 추적을 선택하고, 보상 모델을 생성하고, 백그라운드 워커가 훈련하도록 합니다. UI는 어떤 선호도가 인간에서 왔는지 AI 판단에서 왔는지 보여줍니다.
스킬 생성 – 훈련된 보상 모델에서 GEPA를 호출하여 SKILL.md 파일을 생성합니다. stash skills install로 설치하면 향후 실행이 자동으로 새 지침 세트를 로드합니다.
반복 – 에이전트가 다시 실행되면 새 추적이 캡처되고 큐레이션되며 루프에 피드백되어 프롬프트와 스킬을 지속적으로 개선합니다.

제한 사항 및 미해결 질문

문제	세부 사항
자체 호스팅 복잡성	전체 백엔드(추적 저장소, 큐레이터, 보상 모델 워커, MCP)를 실행하려면 여러 서비스가 필요합니다. 문서에 가이드가 있지만 엔지니어링 노력이 필요할 수 있습니다.
보상 모델 성숙도	보상 모델 기능은 실험적 제품으로 설명됩니다. 성능은 추출된 선호도 쌍의 품질에 따라 달라지며 신중한 검증이 필요할 수 있습니다.
스킬 형식	스킬은 단순한 `SKILL.md` 폴더입니다. 아직 표준 스키마가 없으므로 사용자 정의 에이전트와의 통합에는 어댑터가 필요할 수 있습니다.
추적 저장소의 확장성	대규모 프로덕션 에이전트는 방대한 로그를 생성할 수 있습니다. 저장소에는 샤딩 또는 장기 보관 전략에 대한 세부 정보가 없습니다.

TL;DR

Stash는 에이전트 상호작용을 기록하고, 인간 수정을 검색 가능한 지식으로 변환하며, 해당 지식을 재사용 가능한 스킬로 패키징하는 오픈소스 시스템입니다. 또한 이러한 추적에서 선호도를 추출하여 보상 모델을 훈련하고 프롬프트를 자동으로 개선할 수 있는 실험적 루프도 포함합니다. 에이전트가 기본 LLM을 지속적으로 재훈련하지 않고 실제 경험에서 학습하기를 원하는 팀에 이상적입니다.