1Password OpenAI Codex를 통한 엔지니어링 생산성 향상

1Password, Codex 통합을 통해 생산성 21% 향상 달성

1Password는 계획 단계부터 프로덕션 단계까지의 시간을 단축하기 위해 소프트웨어 전달 라이프사이클 전반에 OpenAI Codex를 통합했습니다. 이 통합을 통해 핵심 사용자 그룹의 엔지니어링 생산성이 20.9% 향상되었으며, 중간값 기준 풀 리퀘스트(pull request) 사이클 타임이 거의 11% 감소했습니다.

계획에서 프로덕션까지 기능을 한 번에 구현하는 'one-shotting'

1Password는 사용자 스토리에서 작동하는 기능으로의 전환을 가속화하기 위해 Codex를 활용하며, 회사는 이 프로세스를 "one-shotting"이라고 부릅니다. Codex에 사용자 스토리와 원하는 사용자 경험에 대한 구체적인 지침을 제공함으로써, 엔지니어는 아이디어에서 프로토타입으로, 그리고 프로덕션 준비가 된 기능으로 직접 이동할 수 있어 엔지니어링 리뷰 전에 필요한 반복 작업을 크게 줄일 수 있습니다.

주요 결과물은 다음과 같습니다:

  • Knox: 새로운 인터페이스를 구축하는 데 사용되는 완전한 에이전트형 프론트엔드 디자인 시스템.
  • Internal AI SRE agent: 사이트 신뢰성 엔지니어링(site reliability engineering)을 위해 설계된 에이전트.
  • AI spend management tool: 지출 관리를 위한 내부 도구.

Codex는 정의된 보안 및 엔지니어링 경계 내에서 자율적으로 작동하며, 요청된 기능을 기능적 사양으로 분해하고, 시스템 엔지니어가 백엔드에 통합할 수 있는 완성에 가까운 프로토타입을 생성합니다.

소프트웨어 전달 라이프사이클 전반의 Codex 통합

Codex는 1Password의 개발 프로세스 모든 단계에 내장되어 있습니다:

  • Planning and technical design: 모델이 요청을 사양, 의존성 확인, 작업 항목으로 변환합니다.
  • Implementation: 엔지니어는 CLI를 통해 Codex를 사용하여 익숙하지 않은 Rust 및 TypeScript 코드를 탐색하며, 병렬 worktree를 사용하여 작업을 동시에 실행합니다.
  • Pull request review: Codex는 사람이 리뷰하기 전에 변경 사항을 검토하고 로직 이슈나 누락된 컨텍스트를 플래그합니다.
  • Testing and release readiness: 모델이 다른 개발 작업과 병렬로 자동화된 테스트 및 수락 기준을 실행합니다.
  • Security and access: 1Password의 내부 AppSec harness와 통합되어 모델 컨텍스트에 평문 Credentials가 아닌 secret references가 사용되도록 보장합니다.
  • Production investigation: Codex는 조사 과정에서 텔레메트리, 소스 제어, 페이징, 기능 플래그, 인시던트 관리 도구로부터 증거를 수집합니다.

정량화 가능한 생산성 및 ROI 메트릭

1Password는 Codex 도입 이후 몇 가지 구체적인 성능 향상 사항을 보고했습니다:

  • Cycle Time: 중간값 기준 풀 리퀘스트 사이클 타임이 10.9% 감소했습니다.
  • Development Speed: 주력 스택이 아닌 분야에서 작업하는 엔지니어가 일반적인 3일의 머지(merge) 시간을 1일로 단축했습니다.
  • Release Velocity: 한 팀이 베타 출시 기간 동안 평소 기대되는 2개의 티켓을 완료하는 대신 4개의 출시 임계 티켓을 완료했습니다.
  • Incident Response: 10개 이상의 마이크로서비스에 걸친 결함에 대한 조사 시간이 약 2시간에서 5~20분 사이로 급감했습니다.

50명의 활성 Codex 사용자를 모델링한 코호트의 경우, 1Password는 연간 엔지니어링 역량 가치를 약 $784,000로 추정하며 553%의 ROI를 기록했습니다. 만약 사용자 기반이 100명의 일관된 사용자에게로 확장된다면, 모델링된 연간 연간 역량 가치는 $3.1 million에 달할 것으로 추정됩니다.

AI 지원 개발을 위한 보안 아키텍처

제로-지식(zero-knowledge) 아키텍처를 유지하기 위해, 1Password는 평문 Credentials가 모델 컨텍스트에 절대 들어가지 않도록 보장합니다. 회사는 리포지토리에서 secret references를 사용합니다. Codex가 승인된 내부 도구를 호출할 때, 1Password는 실제 작업이 수행되는 시점에만 Credentials를 해결(resolve)하고 주입합니다.

또한, 1Password는 보안 정책을 "reusable AppSec skills"로 통합하여, 개발 워크플로우 전반에 걸쳐 회사의 보안 표준이 자동으로 적용되도록 합니다.

민주화된 구축(democratized building)으로의 전환

1Password는 재무 및 마케팅을 포함한 비엔지니어링 직군군을 대상으로 Codex access를 Codex access를 확장하여, 이 팀들이 자체 도구를 구축할 수 있도록 합니다. CTO Nancy Wang은 이를 AI 도입의 "두 번째 물결"이라고 설명하며, 제품 관리자, 디자이너, 연구 인원들이 전통적인 소프트웨어 엔지니어가 아니더라도 코드를 작성하고 제품을 출시할 수 있는 "builder"가 될 수 있다고 말합니다.

Sources