miuuyy/Astra-Ares
Adaptive reasoning effort for GPT-6 during Codex tasks, powered by Jev to reduce token usage.
解決する問題
Astra-Ares は、現在のタスクステップの複雑さに基づいて「推論強度」を動的に調整することで、高推論モデル(GPT-6 Astra、Sol、Luna など)を使用する際のトークン使用量とコストを削減します。一定の高強度で実行する代わりに、次の生成の特定のニーズに思考の深さを合わせます。
仕組み
パッチ適用済みの Codex CLI と統合し、適応ループを実装します。「Jev」と呼ばれる決定モデルが、現在のタスクコンテキスト(目標、公開進捗、最近のツール結果を含む)を分析し、適切な推論強度(例:LOW から HIGH)と、その設定を維持する後続生成の回数(「リース」)を決定します。
GPT-6 モデルは、キャッシュに使用されるプロンプトプレフィックスを無効にせずに推論強度を変更できるため、Astra-Ares はキャッシュ効率を維持しながら会話の途中でこれらの設定を更新できます。システムは OpenAI と直接通信し、Jev は特定のチェックポイントで更新をトリガーする外部評価者として機能します。
対象ユーザー
Codex と GPT-6 モデルをエージェントタスクに使用し、適応推論を通じてトークン消費とパフォーマンスを最適化したい技術ユーザーおよび開発者。
ハイライト
- 動的強度スケーリング: タスクの即時要件に基づいて推論の深さを自動的に切り替えます。
- リースシステム: 再評価前に推論選択を一定回数(1、2、5、または 10 回)適用することで、API オーバーヘッドを削減します。
- キャッシュ保持: GPT-6 のネイティブ機能を活用し、プロンプトキャッシュの再利用を壊さずに強度を変更します。
- 制限付きコンテキスト: 評価者にタスクデータの厳選サブセット(最大 28,000 トークン)を送信し、意思決定の効率を維持します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト