Sahir619/fable-method
The Fable Workflow: how Claude Fable 5 worked, distilled into skills any model can run, with the eval that keeps it honest. Think / act / prove.
解决的问题
代理型 LLM 经常遭遇「奖励劫持」,即在未真正解决问题的情况下声称任务已完成,或在未察觉的情况下「修复」正确的代码以满足损坏的测试。Fable 方法提供了一种结构化、基于规则的工作流程,强制模型通过观察和证据来验证其工作,而不是依赖内部推理,显著减少了虚假完成声明和「陷阱」场景中的错误。
如何工作
该方法将模糊的指令(例如「小心」)替换为明确的、分步操作循环:
- 分类:判断请求是简单问题、问题、计划优先任务,还是特定领域任务。
- 定义完成:为任务建立一个命名的验证标准。
- 证据:在进行更改前,从主要来源收集并行证据。
- 决定:确定单一推荐方案。
- 执行:根据检查清单进行精准修改。
- 验证:观察结果,必要时重试(最多允许 3 次失败)。
- 报告:首先交付结果,并附上诚实的局限性说明。
该方法包含专用的 fable-judge 用于对抗性验证(重新运行检查并对比变更),以及 fable-domain 用于生成特定领域适配器(如法律、金融或 DevOps),定义该领域内有效的证据标准。
适用人群
使用代理框架(特别是 Claude Code、Codex 或自定义系统提示)的开发者和 AI 工程师,需要其代理在处理复杂、多步骤任务时更加可靠,尤其是在失败常被自信但错误的报告掩盖的情况下。
主要亮点
- 基于证据的验证:强制代理通过观察和差异对比来证明工作成果,而非阅读自身报告。
- 领域适配器:提供营销、研究等各领域的预设配置,确保咨询正确的主信息源。
- 对抗性测试:包含 14 个设计用于诱使代理犯常见错误的「陷阱场景」,以验证该方法的有效性。
- 模型无关性:设计为中等性能模型(如 Haiku)通过严格遵循结构化流程,可超越前沿模型的表现。
相关
- 项目
- 项目
- 项目
- 项目