Asana、GPT-6.1 Solでブラウザエージェントのコストを最適化

Asanaは、GPT-6.1 Solでのワークフローを最適化することで、ブラウザエージェントのモデルコストを76分の1に削減し、実行速度を5倍に向上させました。これは、CodexでGPT-6 Astraを使用して調査と実験のプロセスを自動化し、通常2か月の人間の労力を要するタスクを1週間に短縮することで達成されました。

GPT-6 Astraによる自動最適化

Asanaは、CodexでGPT-6 Astraを活用して、ブラウザエージェントのコードベースの非効率性を特定し、一連の管理された実験を実行しました。このプロセスでは、コードベースをマッピングしてモデルリクエストの構築方法を理解し、コストとレイテンシを削減するための特定のアーキテクチャ変更をテストしました。

非効率性の特定

GPT-6 Astraは、元のエージェントワークフローに2つの主要なボトルネックを発見しました。

キャッシュのギャップ: 固定された指示とツール定義はキャッシュされていましたが、増え続けるページテキストとスクリーンショットの履歴はキャッシュされておらず、すべてのリクエストで履歴全体を全額で再送信する原因となっていました。
履歴の変動性: エージェントは、ほぼすべてのステップでテキストをトリミングし、スクリーンショットを頻繁に削除していました。これらの絶え間ない編集により、効果的なキャッシュが妨げられ、時にはエージェントが既に読んだページを再訪せざるを得なくなりました。

実験の設計と実行

これらの非効率性の特定後、GPT-6 Astraはエージェントのコードをリファクタリングして、独立した設定を持つ並列ワークフローをサポートしました。その後、4つのフロンティアモデル（GPT-6.1 Solと、モデルA、B、Cとラベル付けされた他の3つ）をさまざまな構成でテストする144回の実行からなる研究を実施しました。

履歴予算: 120,000文字と480,000文字の予算をテストしました。
キャッシュとスクリーンショットのポリシー: 6つの異なるポリシーをテストしました。最も効果的だったのは、スクリーンショットを20まで蓄積してから最新のものにリセットするポリシーで、履歴の安定性を長期間維持しました。

パフォーマンスとコストのベンチマーク

GPT-6.1 Solでの最適化されたワークフローは、元のModel B構成と比較して、コストと速度の大幅な改善を示しました。

コスト削減

全体的な削減: GPT-6.1 Solでの最適化されたワークフローは、元のModel B構成の少なくとも$36.21に対して、1回の実行あたり平均$0.47でした（76分の1の削減）。
モデル固有の利点: Model Bの場合、最適化だけでコストが1回の実行あたり$36.21以上から$1.24に削減されました（29分の1の削減）。GPT-6.1 Solは、最適化されたModel Bよりも2.6倍安価でした。
キャッシュの影響: GPT-6.1 Solでは、新しいキャッシュとスクリーンショットのポリシーにより、コストが4分の1に削減され（1回の実行あたり$1.97から$0.47へ）、入力の89%がキャッシュから提供され、キャッシュなし価格の5%のコストになりました。

速度と信頼性

実行速度: 元のModel B構成では1回の実行あたり少なくとも22.5分かかりましたが、GPT-6.1 Solでの最適化されたワークフローでは約4分でした。
成功率: GPT-6.1 Solの履歴予算を増やすことで、成功率は（小さい予算での）18回中3回から、大きい予算では18回中18回（100%の成功率）に向上しました。

統合と今後の開発

Asanaはこれらの最適化をStackAIに統合し、これらの実験を再現可能にするツールを開発しています。また、GPT-6 AstraをCodexで活用して、リリース前の製品テストを行っており、エージェントがプラットフォームをナビゲートして、人間のQAレビュー担当者にバグを報告します。

「これが、人間とエージェントのチームが実際に機能する姿です。エンジニアが方向性を設定し、GPT-6 Astraが実験を実行し、結果はCommandを通じて本番環境に反映されました。」

— Asana CPO、Arnab Bose

「出荷速度はもはやボトルネックではなく、人間の注意力がボトルネックです。私たちは、すべてのエンジニアがエージェントの艦隊を率いるPMになる世界に近づいています。」

— Frank Hidalgo博士、StackAI CTO（Asana）