Sahir619/fable-method

何を解決するか

エージェント型LLMはしばしば「報酬ハッキング」に悩まされ、実際に問題を解決していないにもかかわらずタスク完了を主張したり、壊れたテストを満たすために正しいコードを無意識に「修正」してしまう。Fable Methodは、内部推論に頼らず、観察と証拠に基づいて作業を検証するルールベースの構造化ワークフローを提供し、誤った完了報告や「罠」シナリオにおけるエラーを大幅に削減する。

動作方法

曖昧な指示（例："注意深く"）を、明確なステップバイステップの操作ループに置き換える：

1. 分類：要請が単純な問題か、質問か、計画優先タスクか、特定分野のタスクかを判断する。
2. 完了定義：タスクの完了を示す名前付き検証を設定する。
3. 証拠：変更を行う前に、主な情報源から並列的な証拠を収集する。
4. 決定：単一の推奨事項にコミットする。
5. 実行：チェックリストに基づいた精密な編集を行う。
6. 検証：結果を観察し、必要に応じて再試行（最大3回の失敗まで）。
7. 報告：誠実な懸念を添えて、結果を最初に提示する。

専用の fable-judge により、敵対的検証（再実行と変更の差分比較）が可能であり、fable-domain により業界固有のアダプタ（例：法務、金融、DevOpsなど）を生成し、その分野における有効な証拠の定義を可能にする。

対象ユーザー

Claude Code、Codex、またはカスタムシステムプロンプトを使用する開発者やAIエンジニアで、特に複雑な多段階タスクを処理する際に、失敗が自信满满的な誤った報告によって隠されがちな状況で、より信頼性の高いエージェントが必要な人。

特徴

• 証拠に基づく検証：自己報告を読むのではなく、観察と差分比較によって作業の正当性を証明するよう強制する。
• 業界アダプタ：マーケティング、研究など、さまざまな業界向けの事前構成済み設定を提供し、適切な主な情報源を参照することを保証する。
• 敵対的テスト：エージェントを誤った行動に誘導する14のシナリオからなる「罠スイート」を含み、この方法の有効性を検証する。
• モデル非依存：中程度のモデル（例：Haiku）が構造化プロセスを正確に実行することで、最先端モデルを上回る性能を発揮できるように設計されている。