Amplitude Wave, 제품 개선 기간을 OpenAI 모델로 1~2일로 단축
요약: OpenAI는 Amplitude의 능동적 제품 에이전트 Wave가 OpenAI 모델을 사용해 팀이 제품 개선을 약 한 달에서 1~2일로 단축할 수 있게 해준다는 고객 사례를 공개했습니다. 이 사례는 프로덕션 에이전트가 추론, 저비용, 이미지 모델 전반에 걸쳐 작업을 라우팅한 후 구현 계획을 Codex와 같은 코딩 에이전트에 전달하는 방식을 보여주기 때문에 중요합니다.
OpenAI가 공개한 내용: Amplitude의 Wave 에이전트에 관한 고객 사례
OpenAI의 게시물은 새로운 모델 출시가 아닌 Amplitude의 Wave 제품 에이전트에 관한 고객 사례입니다. Amplitude는 Wave가 GPT-6.1 Sol, GPT-6 Luna, GPT-Image-2.5 Flare를 포함한 OpenAI 모델로 약 80% 구동된다고 설명합니다.
Wave는 제품 인사이트를 팀이 Codex를 포함한 코딩 에이전트에 보낼 수 있는 구현 계획으로 전환한 다음, 출시된 변경 사항의 영향을 측정합니다. Amplitude는 Wave가 팀이 제품 개선을 약 한 달에서 1~2일로 단축할 수 있도록 도와줄 것으로 추정합니다.
Amplitude 자체 홈페이지에서 Wave는 추천 카드를 개인화하여 카드 기반 전송을 160% 증가시켰습니다.
"AI는 이제 우리가 할당할 생각조차 하지 못했던 유용한 작업을 찾을 수 있습니다. OpenAI의 모델은 문제를 조사하고, 코드를 작성하고 실행하며, 그 결과를 사용해 다음에 무엇을 시도할지 결정할 수 있습니다."
— Spenser Skates, Amplitude CEO
Wave 작동 방식: 제품 데이터에서 출시된 개선까지
Wave는 Amplitude의 능동적 제품 에이전트입니다. 팀은 제품 영역과 개선하려는 목표 및 지표를 제공합니다. 그런 다음 Wave는 Amplitude 데이터, 세션 재생, 고객 피드백, 코드를 결합하여 기회를 식별하고 우선순위를 정하며, 솔루션을 개발하고, 사람 및 코딩 에이전트와 구현을 조정합니다. 또한 결과를 추적하고 그 학습을 다음 개선 라운드에 반영합니다.
기회를 구축할 준비가 되면 팀은 기술 계획과 승인 기준을 포함한 구현 지침과 함께 Wave에서 Codex를 포함한 코딩 에이전트로 직접 보낼 수 있습니다. 이 워크플로는 권장 사항에서 멈추지 않고 제품 분석 및 사용자 행동 데이터를 실제 출시된 변경 사항에 연결하도록 설계되었습니다.
모델 라우팅: 작업에 따른 다양한 OpenAI 모델 사용
Amplitude는 각 작업의 요구 사항에 따라 Wave의 여러 부분에 서로 다른 OpenAI 모델을 할당합니다. GPT-6.1 Sol은 기회 관리자와 코드 및 데이터에 대한 심층 조사를 지원합니다. GPT-6 Luna는 코드 스캔 및 소규모 평가 검사 실행과 같은 빈번하고 저비용 작업을 처리합니다. GPT-Image-2.5 Flare는 세션 재생의 스크린샷을 시각적 참조로 사용하여 제품 목업을 생성합니다.
라우팅은 품질, 지연 시간, 비용 간의 균형을 반영합니다. 심층 조사는 강력한 추론과 근거가 잘 갖춰진 결론이 필요한 반면, 수백 번 반복되는 소규모 검사는 빠르고 저렴해야 합니다. Amplitude는 각 작업에 대해 품질, 지연 시간, 비용을 평가한 후 그에 따라 모델을 할당합니다.
"OpenAI는 강력한 추론 모델과 더 작고 빠른 모델을 모두 제공하여 제품 전반에 걸쳐 품질, 지연 시간, 추론 비용의 균형을 맞출 수 있게 해주었습니다."
— Spenser Skates, Amplitude CEO
평가 결과: GPT-6.1 Sol이 조사에서 선두를 달리고 데이터 과학에서 비용을 절감
Wave의 기회 조사자(Opportunity Investigator)에 대해 Amplitude는 모델이 발견 사항을 입증하는지, 거짓 양성을 피하는지, 평가자 피드백을 통합하는지, 도구 실패에서 복구하는지, 주장을 증거와 일치시키는지 평가했습니다. GPT-6.1 Sol은 전체 5점 만점에 4.06점을 기록했으며, 세 가지 대체 모델은 각각 3.62, 3.52, 2.94점을 기록했습니다. 또한 다섯 가지 조사 기준 모두에서 선두를 차지했으며 중앙값 조사 시간이 54분으로 가장 빨랐습니다.
Wave의 데이터 과학 에이전트에 대한 별도 평가에서 GPT-6.1 Sol은 100점 만점에 67.5점을 기록했으며, 다른 선도 모델은 69.3점을 기록했고, 평균 모델 비용은 디스패치당 $1.28 대 $2.63이었습니다. GPT-6.1 Sol은 또한 도구 계약 준수, 추정 및 불확실성, 증거 근거에서 더 높은 점수를 받았습니다.
와이어프레임 및 목업 생성의 경우 OpenAI의 이미지 생성 모델은 솔루션 와이어프레임에서 100점 만점에 80.3점을 기록했으며, 다른 이미지 생성 모델은 63.9점을 기록했습니다. Amplitude의 평가는 15개 기회에 걸쳐 커뮤니케이션 품질, 제품 충실도, 지시 준수, 텍스트 및 UI 가독성, 시각적 일관성을 다루었습니다.
홈페이지 실험: 개인화된 추천 카드로 160% 증가
Amplitude는 자체 홈페이지에서 Wave를 테스트했는데, 여기서 일반 추천 카드는 사용자가 AI 에이전트와 대화를 시작하도록 돕기 위한 것이었습니다. Wave는 사람들이 종종 카드를 우회한다는 것을 발견했습니다. 100개의 세션 재생 샘플에서 80명의 사용자가 자신의 질문을 입력했고 12명만 추천을 선택했습니다.
Wave는 최근 차트, 대시보드 또는 사용자가 온 페이지를 사용하여 카드를 개인화할 것을 제안했습니다. 변경 사항을 설명하고 자유 입력을 보존하고 개인화 컨텍스트를 사용할 수 없을 때 일반 추천을 표시하는 것을 포함한 기술 계획을 생성했습니다. 간단한 검토 후 팀은 작업을 코딩 에이전트에 넘기고 A/B 테스트를 진행했습니다.
Amplitude가 공유한 실험 결과에서 홈페이지 추천 카드를 통해 전송된 메시지는 하루 만에 대조군 대비 160% 증가했습니다.
"획기적이지 않아 무시되는 것들이 예상치 못한 방식으로 기능 채택을 증가시킬 수 있다는 훌륭한 예입니다."
— Eric Carlson, Amplitude 수석 AI 엔지니어
인간의 통제와 출시 속도
팀은 출시되는 것에 대한 통제권을 유지합니다. Wave는 세션 및 분석 데이터를 분석한 후 제안된 수정, 기술 계획, 승인 기준과 함께 권장 사항을 개발합니다. 그런 다음 팀은 자동화 수준을 선택할 수 있습니다. 대부분의 팀은 버그 수정을 코딩 에이전트에 직접 보내는 반면, 새로운 기능과 더 큰 베팅은 인간 검토를 거칩니다.
출시에 도달하는 변경 사항의 경우 발견에서 실행까지의 경로는 짧을 수 있습니다. 고객이 출시한 실험, 플래그, 가이드 중 4분의 1은 Wave가 기회를 표면화한 당일, 절반은 4일 이내, 3분의 2는 일주일 이내에 운영되었습니다. 출처는 이 곡선이 제공된 마일스톤에서 보간된 것이며 개별 관찰이 아닌 예시임을 명시합니다.
향후 계획
Amplitude와 OpenAI는 더 넓은 목표를 자기 개선 제품을 기업이 소프트웨어를 구축하는 표준 방식으로 만드는 것으로 봅니다. OpenAI의 모델이 추론과 코딩에서 더 나아짐에 따라 팀은 더 많은 조사 및 구현 작업을 에이전트에 위임할 수 있게 되어 더 나은 제품을 더 빠르게 사용자에게 제공할 수 있게 될 것입니다.
"OpenAI와의 우리의 야망은 자기 개선 제품을 기업이 소프트웨어를 구축하는 방식으로 만드는 것입니다."
— Spenser Skates, Amplitude CEO
Amplitude는 팀이 다른 우선순위를 작업하는 동안 이미 이 워크플로를 자체 제품에 적용하고 있습니다. Skates는 다음과 같이 덧붙입니다: "소프트웨어가 제품을 개선하기 위해 함께 작업할 때 팀이 얼마나 많은 것을 성취할 수 있는지 놀랄 것이라고 생각합니다."