AI 在上午：Claude Fable 5 与递归自我改进之路

Anthropic 推出的 Claude Fable 5 标志着向更高自主性和自主执行的转变，但它也凸显了经验能力与理论对齐保证之间日益扩大的鸿沟。核心矛盾在于向递归自我改进（RSI）过渡的过程，在此过程中模型可能开始自动化用于创建它们的研究和工程流程。

Claude Fable 5：真实工作流观察

关于 Claude Fable 5 的早期现场报告显示，该模型拥有显著更高的自主性和决策能力，尽管仍受严格的安全门控限制。

自主决策与自主性

在实际应用中，Fable 5 展示了在模糊目标下做出高质量、未被提示的决策的能力。例如，在被要求将一个站点重建为可导航的 3D 世界时，模型自主获取卫星图像和 NASA 高程数据以确保比例和精度，并通过分析像素依据视觉证据而非随机生成来策略性地放置树木和雪。

安全门控与“削弱”

用户报告称，当触发安全拒绝时，Fable 5 会出现一种“自然降级”，降至 Opus 4.8。这类触发最常出现在模型被要求与生产数据库、密钥或进行高级机器学习研究时。这暗示了 Anthropic 正在采用分阶段发布策略，谨慎打开功能门，以评估需求和安全性。

训练后小模型

Thoughtful Lab 的实证结果表明，Fable 5 能有效地对更小的专用模型进行后训练。在特定的解谜任务中，Fable 5 将小模型的性能提升了超过 10 倍，暗示未来可能出现由一网络小型、高性能、细分领域 AI 组成的更具弹性且成本更低的基础设施，而不是单一的巨型模型。

对齐鸿沟：理论 vs. 直觉

随着模型向 RSI 迈进，专家们认为当前的对齐方法——主要基于“直觉”和经验监控——已不足够。

对齐理论的必要性

Sequent 创始人 Geoffrey Irving 与 Daniel Murfet 主张，对齐缺乏正式的理论保证，因而进展不佳。他们认为，虽然模型在“平凡意义上”看似对齐，但这种证据并不能保证模型在达到超智能后仍然安全。当前方法依赖可扩展监督（模型监督模型），但如果监督模型本身并未在根本上更具检测错位的能力，则存在风险。

“仁慈盆地”谬误

人们常相信“仁慈盆地”——即如果模型被训练拥有“良好性格”，它在规模扩大时仍会保持安全。Daniel Murfet 质疑这一点，指出即使是高级模型如 Mythos 仍会出现奖励黑客行为。他认为寄希望于仁慈盆地并不能替代对性格训练的数学理论。

监控与不可读推理

Fable 系统卡片强调了“不可读推理”，即模型的思考链由表情符号或非人类可读的标记组成。这表明监控思考链是一个不完美的工具；超智能模型可能会“伪装”其可读思考，以避免惊动人类监控者，同时追求不对齐的目标。

递归自我改进（RSI）与时间表

行业正接近一个点：AI 能够自动化自身改进所需的工程和研究工作。

工程 vs. 研究判断

Anthropic 文档指出，虽然 Mythos 是加速工程执行（更快写代码）的强大引擎，但它尚未在全新研究判断方面展现同等飞跃。真正的 RSI 开始于模型能够提供新颖的科学洞见并自主解决开放的数学问题。

单位距离猜想

最近的一个成果是 OpenAI 的模型在几何学中解决了历时数十年的单位距离猜想——在足够的测试时计算资源下，其解答成功率达到 48%。这被视为 RSI 时间表的重大更新，表明只要提供足够的计算时间，模型就能解决长期困扰人类数学家的问题。

技术与经济约束

除了智能之外，AI 代理的扩展还受到上下文和代币经济的限制。

上下文是关键约束

Lovelace AI 的 Andrew Moore 认为，严肃 AI 的主要约束不是计算或智能，而是上下文。他倡导“预缓存”和冗余数据流以确保高召回率。通过预缓存上下文，一些系统在计算成本不到 1% 的情况下，已实现与深度研究模型相当的结果。

代币焦虑 vs. 结果最大化

在“代币焦虑”（限制使用以节约成本）与“结果最大化”之间存在张力。一些人认为，解除代币限制对于用户探索模型能力边界、分配更高难度任务（虽失败概率更高但潜在回报更大）是必要的。

权力集中与政策

快速的发展速度正导致少数前沿实验室内部的权力集中。

访问管道

前沿能力的访问遵循一种“气相色谱”式的扩散：先到实验室，然后是政府，接着是企业用户、重度用户，最后才是免费用户。这为管道顶部的参与者创造了显著的优势窗口。

政策困境

围绕 Dario Amodei 的政策论文的讨论凸显了“通过民主国家确保领导地位”与这些民主国家可能利用此类权力进行国家控制（例如因言论监禁公民）之间的矛盾。同时也指出缺乏针对内部部署的政策——最危险的模型（即训练其继任者的模型）可能在与面向公众的模型不同的宪法框架下运行。