Amplitude Wave、OpenAIモデルで製品改善期間を1〜2日に短縮

要約: OpenAIは、Amplitudeのプロアクティブ製品エージェント「Wave」がOpenAIモデルを使用して、チームが製品改善を約1か月から1〜2日で出荷できるように支援する顧客事例を公開しました。このケースが重要なのは、推論、低コスト、画像モデルを横断して作業をルーティングし、実装計画をCodexなどのコーディングエージェントに引き渡す本番エージェントを示しているためです。

OpenAIが公開したもの:AmplitudeのWaveエージェントに関する顧客事例

OpenAIの投稿は、新しいモデルの発表ではなく、AmplitudeのWave製品エージェントに関する顧客事例です。Amplitudeは、Waveが約80%OpenAIモデル(GPT-6.1 Sol、GPT-6 Luna、GPT-Image-2.5 Flareを含む)によって駆動されていると説明しています。

Waveは、製品インサイトを、チームがCodexを含むコーディングエージェントに送信できる実装計画に変換し、出荷された変更の影響を測定します。Amplitudeは、Waveがチームの製品改善期間を約1か月から1〜2日に短縮できると推定しています。

Amplitude自身のホームページでは、Waveが提案カードのパーソナライズを支援し、カード経由の送信数を160%増加させました。

「AIは、私たちが割り当てることを考えもしなかった有用な作業を今や見つけられます。OpenAIのモデルは問題を調査し、コードを書いて実行し、その結果を使って次に何を試すかを決定できます。」

—Spenser Skates、CEO、Amplitude

Waveの仕組み:製品データから出荷された改善まで

WaveはAmplitudeのプロアクティブ製品エージェントです。チームは製品領域と、改善したい目標と指標をWaveに与えます。その後Waveは、Amplitudeデータ、セッションリプレイ、顧客フィードバック、コードをまとめて、機会を特定・優先順位付けし、ソリューションを開発し、人やコーディングエージェントとの実装を調整します。結果を追跡し、その学習を次の改善ラウンドに活かします。

構築する準備ができた機会がある場合、チームは技術計画と受け入れ基準を添えて、WaveからCodexを含むコーディングエージェントに直接送信できます。このワークフローは、製品分析とユーザー行動データを、推奨事項で止まるのではなく、実際に出荷された変更に結び付けるように設計されています。

モデルルーティング:タスクに応じた異なるOpenAIモデル

Amplitudeは、各タスクの要求に基づいて、Waveの異なる部分に異なるOpenAIモデルを割り当てています。GPT-6.1 Solは、機会マネージャーとコード・データの深い調査をサポートします。GPT-6 Lunaは、コードのスキャンや小さな評価チェックの実行など、頻繁で低コストのタスクを処理します。GPT-Image-2.5 Flareは、セッションリプレイのスクリーンショットを視覚的な参照として使用して、製品モックアップを生成します。

このルーティングは、品質、レイテンシー、コストのトレードオフを反映しています。深い調査には強力な推論と十分に裏付けられた結論が必要ですが、何百回も繰り返される小さなチェックは高速で低コストである必要があります。Amplitudeは各タスクの品質、レイテンシー、コストを評価し、それに応じてモデルを割り当てます。

「OpenAIは、強力な推論モデルと、より小型で高速なモデルの両方を提供してくれたので、製品全体で品質、レイテンシー、推論コストのバランスを取ることができました。」

—Spenser Skates、CEO、Amplitude

評価結果:GPT-6.1 Solが調査をリードし、データサイエンスでコストとトレードオフ

Waveの機会調査機能(Opportunity Investigator)について、Amplitudeはモデルが調査結果を裏付けるか、誤検知を回避するか、評価者のフィードバックを組み込むか、ツール障害から回復するか、主張を証拠と一致させるかを評価しました。GPT-6.1 Solは全体で5点満点中4.06点を獲得し、他の3つの代替モデルの3.62、3.52、2.94と比較されました。5つの調査基準すべてでリードし、調査時間の中央値も最速で54分でした。

Waveのデータサイエンスエージェントの別の評価では、GPT-6.1 Solは100点満点中67.5点を獲得し、もう1つの主要モデルの69.3点と比較され、平均モデルコストは1回のディスパッチあたり1.28ドル対2.63ドルでした。GPT-6.1 Solは、ツール契約の遵守、推定と不確実性、証拠の接地でも高いスコアを獲得しました。

ワイヤーフレームとモックアップの生成では、OpenAIの画像生成モデルはソリューションワイヤーフレームで100点満点中80.3点を獲得し、別の画像生成モデルの63.9点と比較されました。Amplitudeの評価は、15の機会にわたって、コミュニケーション品質、製品忠実度、指示順守、テキストとUIの可読性、視覚的一貫性をカバーしました。

ホームページ実験:パーソナライズされた提案カードで160%増

Amplitudeは自社のホームページでWaveをテストしました。そこでは、一般的な提案カードがユーザーがAIエージェントとの会話を開始するのを支援することを目的としていました。Waveは、人々がしばしばカードを迂回していることを発見しました:100のセッションリプレイのサンプルで、80人のユーザーが自分の質問を入力し、提案を選択したのはわずか12人でした。

Waveは、最近のチャート、ダッシュボード、またはユーザーが来たページを使用してカードをパーソナライズすることを提案しました。変更を図解し、自由入力を維持し、パーソナライズコンテキストが利用できない場合に一般的な提案を表示することを含む技術計画を作成しました。簡単なレビューの後、チームは作業をコーディングエージェントに引き渡し、変更をA/Bテストしました。

Amplitudeが共有した実験結果では、ホームページの提案カードを通じて送信されたメッセージは、1日後にコントロールと比較して160%増加しました。

「これは、無視されるだけの画期的でないものが、予期しない方法で機能の採用を増やすことができるという素晴らしい例です。」

—Eric Carlson、シニアプリンシパルAIエンジニア、Amplitude

人間による制御とローンチ速度

チームは出荷されるものを制御し続けます。Waveはセッションと分析データを分析し、提案された修正、技術計画、受け入れ基準を含む推奨事項を作成します。そこから、チームは自動化のレベルを選択できます。ほとんどのチームはバグ修正をコーディングエージェントに直接送信しますが、新機能や大きな賭けは人間のレビューを受けます。

ローンチに至る変更では、発見から実行までの道のりは短くなります。顧客がローンチした実験、フラグ、ガイドの中で、4分の1はWaveが機会を表面化した当日に稼働し、半数は4日未満、3分の2は1週間以内に稼働しました。ソースは、この曲線は提供されたマイルストーンから補間されたものであり、個々の観察ではなく例示的であると述べています。

次のステップ

AmplitudeとOpenAIは、より広い目標を、自己改善型製品を企業がソフトウェアを構築する標準的な方法にすることと位置付けています。OpenAIのモデルが推論とコーディングで向上するにつれて、チームはより多くの調査と実装作業をエージェントに委任できるようになり、より良い製品をより速くユーザーに届けることを目指します。

「OpenAIとの私たちの野心は、自己改善型製品を企業がソフトウェアを構築する方法にすることです。」

—Spenser Skates、CEO、Amplitude

Amplitudeはすでにこのワークフローを自社製品に適用しており、チームは他の優先事項に取り組んでいます。Skatesは次のように付け加えています:「ソフトウェアが製品をより良くするために一緒に働いているとき、チームはどれだけ多くのことを達成できるかに驚くと思います。」

Sources