Ornith-1.5 リリース: 推論とコーディングのためのエンドツーエンドの自己改善

Ornith-1.5は、高性能な推論、エージェント、およびコーディングタスク向けに設計された一連の基盤モデルです。Ornith-1.0の自己スキャフォールディング（self-scaffolding）フレームワークを進化させ、モデルが自律的に新しいタスクを提案し、タスク固有のスキャフォールドを生成し、強化学習のためのソリューション・ロールアウトを生成する、完全な自己改善ループへと発展させました。

モデルのパフォーマンスとスケーリング

Ornith-1.5は3つのスケールでリリースされており、さまざまなベンチマークにおいて、プロプライエタリなモデルとオープンソースのモデルの両方に対して競争力のあるパフォーマンスを示しています。

Ornith-1.5-397B (MoE)

フラッグシップである397B Mixture-of-Experts (MoE) モデルは、いくつかの主要なベンチマークにおいてClaude Opus 4.8と同等のパフォーマンスを発揮します。Terminal-Bench 2.1で86.1、DeepSWEで56.0を記録し、GLM-5.2 (82.7および46.2) や DeepSeek-V4-Flash-0731 (82.7および54.4) といったオープンソースの競合モデルを上回っています。

Ornith-1.5-35B (MoE)

35B MoEモデルは、トークンあたり3Bパラメータのみをアクティブ化しますが、より大きな高密度（dense）モデルを大幅に上回ります。Terminal-Bench 2.1では68.5を記録し、Gemma 4-31Bの43.4やMuse Glimmer-30Bの51.7と比較して高いスコアを示しました。また、SWE-Bench Verifiedで79.0を達成し、Gemma 4-31B (52.0) と Muse Glimmer-30B (76.0) の両方を上回っています。

Ornith-1.5-9B (Dense)

iPhoneやAndroidデバイス上でのエッジ展開向けに設計された9B denseモデルは、はるかに大きなモデルのパフォーマンスに匹敵、あるいはそれを上回ります。Terminal-Bench 2.1で47.0、SWE-Bench Verifiedで70.6を達成し、いくつかのカテゴリにおいてGemma 4-31BやQwen 3.6-35Bを上回っています。

自己改善ループ

Ornith-1.5は、人間がキュレーションしたタスクや手動のハーネス（harness）を、タスク生成、スキャフォールド構築、およびソリューション生成の自律的なサイクルに置き換えます。このクローズドループにより、モデルは自身のカリキュラムを継続的に拡張し、問題解決戦略を適応させることができます。

3段階のトレーニングサイクル

  1. タスク提案: システムは、モデルの過去の履歴とターゲット環境に基づき、特に能力のギャップをターゲットにした、段階的に難易度の高いタスクを提案します。
  2. スキャフォールド生成: 各タスクに対し、モデルはタスク固有のスキャフォールドを生成します。これには、指示、ツール、分解戦略、および問題解決に必要なオーケストレーションが含まれます。
  3. ソリューション・ロールアウト: ポリシーは、タスクとスキャフォールドに基づき、ソリューション・ロールアウトを生成します。

ロールアウトからの報酬は、Group Relative Policy Optimization (GRPO) を介して、有用なタスクと効果的なスキャフォールドを生成するモデルの能力を最適化するために、3つのステージすべてに伝播されます。

報酬メカニズム

自己改善ループが高品質なトレーニングデータを作成することを確実にするため、Ornith-1.5はタスク、ハーネス、およびロールアウトに対して特定の報酬信号を利用します。

タスク報酬

タスク報酬は、3つの信号の乗算式に基づいて計算されます：

  • 妥当性 (Validity): タスクが首尾一貫しており、解決可能であり、スキャフォールドが正しく実行されることを保証します。これは、不正な形式のタスクが報酬を得ることを防ぐためのハードゲートとして機能します。
  • 最前線難易度 (Frontier Difficulty): タスクが挑戦的でありながら学習可能であることを測定します。システムは成功率 ($π_{target}$) を0.2に設定し、モデルの改善に伴い、ジェネレーターをより困難な問題へと導きます。
  • 新規性 (Novelty): 以前に生成されたタスクのバッファと比較して、多様なタスクに報酬を与えることで、冗長性を低減します。

ハーネスおよびロールアウト報酬

  • ハーネス報酬: ハーネスは、タスク仕様との整合性、真のソリューション品質を追跡する能力、および報酬ハッキング（reward hacking）への耐性に基づいて報酬を受け取ります。

  • ロールアウト報酬: 各ロールアウトは、生成されたハーネスによってスコア付けされます。検証可能なタスクの場合はバイナリの合格/不合格、複雑な環境の場合は、正確性、効率性、および制約充足の組み合わせを用いてスコア付けされます。

コミュニティの洞察と観察

ユーザーの議論は、このリリースの実用的な有用性と、技術的な懐疑論の両方を強調しています：

  • ローカル展開: ユーザーは35B-A3Bモデルの効率性を指摘しており、あるユーザーは、より高い量子化レベルにおいて、Qwen 3.8 27Bと同等の性能を維持しつつ、より高速な速度を維持していると報告しています。
  • モデルのアイデンティティ: 一部のユーザーは、モデルがアイデンティティ・プロンプトにおいて、時折Claudeであることを主張する場合があることを観察しています。
  • 技術的な懐疑論: 一部のコミュニティメンバーは、「自己改善」が重みレベルで行われているのか、それとも単にエージェント的なラッパーであるのかを疑問視しており、他のメンバーは、資金調達ラウンドのためのマーケティング手法としての再帰的自己改善 (RSI) の主張について懐疑的な見解を示しています。

Sources

関連