Asana, GPT-6.1 Sol로 브라우저 에이전트 비용 최적화
Asana는 GPT-6.1 Sol에서 워크플로를 최적화하여 브라우저 에이전트 모델 비용을 76배 절감하고 실행 속도를 5배 향상시켰습니다. 이는 Codex에서 GPT-6 Astra를 사용하여 연구 및 실험 프로세스를 자동화함으로써 달성되었으며, 일반적으로 인간의 노력으로 두 달이 걸리는 작업을 일주일로 단축했습니다.
GPT-6 Astra를 통한 자동화된 최적화
Asana는 Codex에서 GPT-6 Astra를 활용하여 브라우저 에이전트 코드베이스의 비효율성을 식별하고 일련의 통제된 실험을 실행했습니다. 이 과정에는 모델 요청이 구성되는 방식을 이해하기 위한 코드베이스 매핑과 비용 및 지연 시간을 줄이기 위한 특정 아키텍처 변경 테스트가 포함되었습니다.
비효율성 식별
GPT-6 Astra는 원래 에이전트 워크플로에서 두 가지 주요 병목 현상을 발견했습니다.
- 캐싱 격차: 고정된 지침과 도구 정의는 캐시되었지만, 증가하는 페이지 텍스트 및 스크린샷 기록은 캐시되지 않아 모든 요청이 전체 기록을 전체 가격으로 다시 전송해야 했습니다.
- 기록 변동성: 에이전트는 거의 모든 단계에서 텍스트를 자주 다듬고 스크린샷을 삭제했습니다. 이러한 지속적인 편집은 효과적인 캐싱을 방해하고 때로는 에이전트가 이미 읽은 페이지를 다시 방문하도록 강요했습니다.
실험 설계 및 실행
이러한 비효율성을 식별한 후, GPT-6 Astra는 독립적인 설정으로 병렬 워크플로를 지원하도록 에이전트 코드를 리팩터링했습니다. 그런 다음 다양한 구성에서 4개의 최첨단 모델(GPT-6.1 Sol 및 모델 A, B, C로 표시된 3개)을 테스트하는 144회 실행 연구를 수행했습니다.
- 기록 예산: 120,000자 및 480,000자의 예산을 테스트했습니다.
- 캐싱 및 스크린샷 정책: 6가지 정책을 테스트했습니다. 가장 효과적인 정책은 스크린샷이 20개까지 누적된 후 가장 최근 것으로 재설정되어 기록 안정성을 더 오래 유지했습니다.
성능 및 비용 벤치마크
GPT-6.1 Sol에서 최적화된 워크플로는 원래 프로덕션 설정(모델 B)과 비교하여 비용과 속도에서 상당한 개선을 보여주었습니다.
비용 절감
- 전체 절감: GPT-6.1 Sol에서 최적화된 워크플로는 원래 모델 B 설정(76배 절감)의 실행당 최소 $36.21에 비해 실행당 평균 $0.47이었습니다.
- 모델별 이점: 모델 B의 경우 최적화만으로도 실행당 비용이 $36.21에서 $1.24로 절감되었습니다(29배 절감). GPT-6.1 Sol은 최적화된 모델 B보다 2.6배 저렴했습니다.
- 캐싱 영향: GPT-6.1 Sol에서 새로운 캐싱 및 스크린샷 정책은 비용을 4배 절감했으며(실행당 $1.97에서 $0.47로), 입력의 89%가 캐시되지 않은 가격의 5%로 캐시에서 제공되었습니다.
속도 및 안정성
- 실행 속도: 모델 B의 원래 설정은 실행당 최소 22.5분이 걸렸지만, GPT-6.1 Sol에서 최적화된 워크플로는 약 4분이 걸렸습니다.
- 성공률: GPT-6.1 Sol의 기록 예산을 늘리면 성공률이 18회 실행 중 3회(더 작은 예산)에서 18회 실행 중 18회(100% 성공)로 향상되었습니다.
통합 및 향후 개발
Asana는 이러한 최적화를 StackAI에 통합했으며 이러한 실험을 반복 가능하게 만드는 도구를 개발하고 있습니다. 또한 회사는 GPT-6 Astra를 Codex에서 사전 릴리스 제품 테스트에 활용하고 있으며, 에이전트가 플랫폼을 탐색하여 인간 QA 검토자를 위해 버그를 보고합니다.
"이것이 실제로 인간과 에이전트 팀이 작동하는 모습입니다. 엔지니어가 방향을 설정하고, GPT-6 Astra가 실험을 실행했으며, 결과는 Command를 통해 프로덕션에 반영되었습니다."
— Asana CPO, Arnab Bose
"배포 속도는 더 이상 병목이 아닙니다. 인간의 주의가 병목입니다. 우리는 모든 엔지니어가 에이전트 함대를 이끄는 PM이 되는 세상에 가까워지고 있습니다."
— Frank Hidalgo, PhD, StackAI CTO, Asana
SUMMARY: Asana는 Codex에서 GPT-6 Astra를 사용하여 GPT-6.1 Sol용 워크플로를 최적화함으로써 브라우저 에이전트 모델 비용을 76배 절감하고 속도를 5배 향상시켰습니다.
TITLE: Asana, GPT-6.1 Sol로 브라우저 에이전트 비용 최적화