Sahir619/fable-method

해결하는 문제

에이전트형 LLM은 종종 "보상 해킹"에 시달리며, 실제로 문제를 해결하지 못했음에도 불구하고 작업 완료를 주장하거나, 깨진 테스트를 만족시키기 위해 올바른 코드를 무의식적으로 "수정"합니다. Fable Method는 내부 추론에 의존하지 않고 관찰과 증거를 통해 작업을 검증하도록 강제하는 규칙 기반의 구조화된 워크플로우를 제공하여, 잘못된 완료 주장과 "함정" 시나리오에서의 오류를 크게 줄입니다.

작동 방식

모호한 지시(예: "조심하라")를 명확한 단계별 운영 루프로 대체합니다:

1. 분류: 요청이 단순한 문제인지, 질문인지, 계획 우선 작업인지, 특정 도메인 작업인지 판단합니다.
2. 완료 정의: 작업의 완료를 위한 이름 붙은 검증 기준을 설정합니다.
3. 증거: 변경 전에 주요 출처로부터 병렬 증거를 수집합니다.
4. 결정: 단일 추천 사항에 확신을 갖고 결정합니다.
5. 실행: 체크리스트에 기반한 정밀한 수정을 수행합니다.
6. 검증: 결과를 관찰하고 필요 시 재시도(최대 3회 실패까지 허용).
7. 보고: 성실한 경고와 함께 결과를 먼저 전달합니다.

특수한 fable-judge를 통해 적대적 검증(검사 재실행 및 변경 사항 비교)이 가능하며, fable-domain은 법률, 금융, DevOps 등과 같은 분야별 어댑터를 생성하여 해당 분야에서 유효한 증거의 기준을 정의합니다.

대상 사용자

Claude Code, Codex, 또는 사용자 정의 시스템 프롬프트를 사용하는 개발자 및 AI 엔지니어로, 특히 복잡한 다단계 작업을 처리할 때 실패가 자신감 있는 잘못된 보고로 가려지는 경우에 더 신뢰할 수 있는 에이전트가 필요한 사람들을 대상으로 합니다.

주요 특징

• 증거 기반 검증: 자기 보고서를 읽는 대신 관찰과 차이 분석을 통해 작업의 정당성을 증명하도록 강제합니다.
• 도메인 어댑터: 마케팅, 연구 등 다양한 분야용 사전 구성된 설정을 제공하여 적절한 주요 출처를 참조하도록 보장합니다.
• 적대적 테스트: 에이전트가 일반적인 실수를 저지를 수 있도록 유도하는 14개의 시나리오로 구성된 "트랩 스위트"를 포함하여 이 방법의 효과성을 검증합니다.
• 모델 독립성: 중간 수준의 모델(예: Haiku)이 구조화된 프로세스를 정확히 따르면 최첨단 모델을 능가할 수 있도록 설계되었습니다.