Ornith-1.5 发布:面向推理与编程的端到端自我自我改进
Ornith-1.5 是一系列专为高性能推理、智能体(agentic)和编程任务设计的基座模型。它将 Ornith-1.0 的自我脚手架(self-scaffolding)框架演进为一个完整的自我改进闭环,使模型能够自主提出新任务、生成特定任务的脚手架,并为强化学习生成解决方案的展开(rollouts)。
模型性能与扩展
Ornith-1.5 发布了三种规模的版本,在各种基准测试中均展现出与闭源模型和开源模型相媲美的竞争力。
Ornith-1.5-397B (MoE)
旗舰级的 397B 混合专家模型 (MoE) 在多个关键基准测试中的表现与 Claude Opus 4.8 相当。它在 Terminal-Bench 2.1 上获得 86.1 分,在 DeepSWE 上获得 56.0 分,优于 GLM-5.2 (82.7 和 46.2) 以及 DeepSeek-V4-Flash-0731 (82.7 和 54.4) 等开源同行。
Ornith-1.5-35B (MoE)
35B MoE 模型在每个 token 时仅激活 3B 参数,但其表现显著优于更大的稠密模型。在 Terminal-Bench 2.1 上,它获得 68.5 分,而 Gemma 4-31B 为 43.4 分,Muse Glimmer-30B 为 51.7 分。它在 SWE-Bench Verified 上也达到了 79.0 分,超过了 Gemma 4-31B (52.0) 和 Muse Glimmer-30B (76.0)。
Ornith-1.5-9B (Dense)
专为 iPhone 和 Android 设备上的边缘侧部署而设计,9B 稠密模型达到了与更大规模模型相当甚至更优的性能。它在 Terminal-Bench 2.1 上获得 47.0 分,在 SWE-Bench Verified 上获得 70.6 分,在多个类别中优于 Gemma 4-31B 和 Qwen 3.6-35B。
自我改进闭环
Ornith-1.5 用任务生成、脚手架构建和解决方案展开的自主循环取代了人工策划的任务和手动工具(harnesses)。这种闭环允许模型不断扩展自身的课程,并调整其解决问题的策略。
三阶段训练循环
- 任务提案 (Task Proposal):系统根据模型的历史记录和目标环境提出渐进式难度增加的任务,专门针对能力差距。
- 脚手架生成 (Scaffold Generation):对于每个任务,模型会生成一个特定任务的脚手架,其中包含解决问题所需的指令、工具、分解策略和编排。
- 解决方案展开 (Solution Rollout):策略模型根据任务和脚手架生成解决方案的展开。
来自展开过程的奖励会通过所有三个阶段进行反向传播,通过群体相对策略优化 (Group Relative Policy Optimization, GRPO) 来优化模型生成有用任务和有效脚手架的能力。
奖励机制
为了确保自我改进闭环能够产生高质量的训练数据,Ornith-1.5 对任务、工具(harnesses)和展开过程(rollouts)采用了特定的奖励信号。
任务奖励
任务奖励基于三个信号的乘法公式计算:
- 有效性 (Validity):确保任务是连贯、可解的,且脚手架执行正确。这作为一个硬性门槛,防止格式错误的任务获得奖励。
- 前沿难度 (Frontier Difficulty):衡量任务是否具有挑战性但又是可学习的。系统将成功率 ($π_{target}$) 设定为 0.2,随着模型能力的提升,推动生成器向更难的问题迈进。
- 新颖性 (Novelty):通过奖励相对于之前生成的任务缓冲区的多样化任务,来减少冗余。
工具与展开奖励
工具奖励 (Harness Reward):工具的奖励基于其与任务规范的一致性、追踪真实解法质量的能力,以及对奖励作弊(reward hacking)的抵抗力。
展开奖励 (Rollout Reward):每个展开过程由生成的工具进行评分,对于可验证的任务使用二元通过/失败评分,对于复杂环境则结合正确性、效率和约束满足度进行评分。
社区洞察与观察
用户讨论突出了该版本的发布在实用价值与技术质疑声中的两面性:
- 本地部署:用户注意到 35B-A3B 模型的效率,有用户报告称其表现与 Qwen 3.8 27B 相当,同时在更高的量化水平下保持了更高的速度。
- 模型身份:一些用户观察到,该模型在身份提示词中偶尔会声称自己是 Claude。
- 技术质疑:一些社区成员质疑“自我改进”是发生在权重层面,还是仅仅是一个智能体包装器(agentic wrapper),而其他人则对将递归自我改进 (RSI) 作为融资轮次的营销手段表示怀疑。
Sources
相关
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch