OpenAI Codexによる1Passwordのエンジニアリング生産性の向上

Codexの統合により1Passwordは21%の生産性向上を達成

1Passwordは、計画から本番環境への移行時間を短縮するために、ソフトウェア提供ライフサイクル全体にOpenAI Codexを統合しました。この統合により、コアユーザー層においてエンジニアリング生産性が20.9%向上し、プルリクエストのサイクルタイムの中央値が約11%削減されました。

計画から本番環境への機能実装をワンショットで実現

1Passwordは、ユーザーストーリーから動作する機能への移行を加速させるためにCodexを利用しており、同社はこのプロセスを「one-shotting」と呼んでいます。Codexにユーザーストーリーと望ましいユーザーエクスペリエンスに関する具体的な指示を提供することで、エンジニアはアイデアからプロトタイプ、そして本番環境に即した機能へと直接移行でき、エンジニアリングレビューの前に必要な反復作業を大幅に削減できます。

主な成果には以下が含まれます：

  • Knox: 新しいインターフェースを構築するために使用される、完全にエージェント的なフロントエンドデザインシステム。
  • Internal AI SRE agent: サイト信頼性エンジニアリング（SRE）向けに設計されたエージェント。
  • AI spend management tool: 支出を管理するための社内ツール。

Codexは、定義されたセキュリティおよびエンジニアリングの境界内で自律的に動作し、要求された機能を機能仕様に分解し、ほぼ最終的なプロトタイプを作成します。その後、システムエンジニアがそれらをバックエンドに統合します。

ソフトウェア提供ライフサイクル全体におけるCodexの統合

Codexは、1Passwordの開発プロセスにおけるすべての段階に組み込まれています：

  • Planning and technical design: モデルは要求を仕様、依存関係のチェック、およびワークアイテムに変換します。
  • Implementation: エンジニアはCLIを通じてCodexを使用し、馴染みのないRustやTypeScriptのコードをナビゲートします。また、並列ワークツリーを使用してタスクを同時に実行します。
  • Pull request review: Codexは変更内容をレビューし、人間のレビューの前に論理的な問題やコンテキストの欠如をフラグ立てします。
  • Testing and release readiness: モデルは、他の開発作業と並行して自動テストと受け入れ基準を実行します。
  • Security and access: 1Passwordの社内AppSecハーネスとの統合により、モデルのコンテキストに平文の認証情報ではなく、シークレット参照が使用されることが保証されます。
  • Production investigation: Codexは、調査中にテレメトリ、ソースコントロール、ページング、フィーチャーフラグ、およびインシデント管理から証拠を集約します。

定量化可能な生産性とROIメトリクス

1Passwordは、Codexの導入後にいくつかの具体的なパフォーマンス向上を報告しています：

  • Cycle Time: プルリクエストのサイクルタイムの中央値が10.9%減少しました。
  • Development Speed: 主要なスタック以外の作業を行うエンジニアが、通常3日かかるマージ時間を1日に短縮しました。
  • Release Velocity: あるチームは、ベータ版のローンチ期間中に、通常であれば2件完了するはずのリリースに不可欠なチケットを4件完了しました。
  • Incident Response: 10個以上のマイクロサービスにまたがる欠陥の調査時間が、約2時間から5分から20分の間に減少しました。

50人のアクティブなCodexユーザーのモデル化されたコホートにおいて、1Passwordは年間エンジニアリング容量の価値を約$784,000と推定し、553%のROIを算出しました。ユーザーベースが100人の継続的なユーザーに拡大した場合、モデル化された年間容量の価値は$3.1 millionに達すると推定されています。

AI支援開発のためのセキュリティアーキテクチャ

ゼロ知識アーキテクチャを維持するために、1Passwordは、平文の認証情報がモデルのコンテキストに入力されないようにしています。同社はリポジトリ内でシークレット参照を使用しています。Codexが承認された社内ツールを呼び出す際、1Passwordは実行の瞬間にのみ認証情報を解決し、注入します。

さらに、1Passwordはセキュリティポリシーを「reusable AppSec skills」に統合しており、開発ワークフロー全体で会社のセキュリティ基準が自動的に適用されるようにしています。

構築の民主化へのシフト

1Passwordは、非エンジニアリング部門（財務やマーケティングを含む）へのCodexのアクセスを拡大し、これらのチームが独自のツールを構築できるようにしています。CTOのNancy Wang氏は、これをAI導入の「第2波」と呼んでいます。プロダクトマネージャー、デザイナー、設計者、およびリサーチ担当者が、従来のソフトウェアエンジニアではないとしても、自信を持ってコードや製品をリリースできる「ビルダー」になると、と述べています。

Sources