高品質なソフトウェアのための Short Leash AI コーディング手法

Short Leash 手法：AI の自律性よりも人間の監視を優先する

セキュリティが重要なシステムにおいて高品質なソフトウェアを生成するには、専門的な開発者は AI エージェントを自律的なオーケストレーターではなく、常に監視を必要とするツールとして扱う必要があります。「Short Leash」手法は、最小限の人間の介入で複数のエージェントが並行して動作する「vibe engineering」アプローチを拒否し、代わりに、人間の開発者がプロセスのあらゆる段階において主要な意思決定者およびレビュアーであり続けることを義務付けています。

自律型 AI コーディングの失敗

自律型 AI コーディングシステムは、しばしば「slop」（機能はするが、非効率的で、見た目が悪く、アーキテクチャの整合性に欠けるコード）を生成します。これは、トレーニングデータが乏しいニッチなドメインにおいて特に顕著であり、モデルはトレーニングセットを超えて考えることができないためです。

自律型 AI 使用の主なリスクは以下の通りです：

• Codebase Understanding の喪失: コーディングプロセスから自分自身を切り離してしまう開発者は、自身のソフトウェアがどのように動作するかを理解する能力を失います。
• Agent Drift: AI エージェントは頻繁に「脱線」し、意図しない変更を実装したり、以前に完了した作業を削除したりします。
• Quality Degradation: Fable 5 のような最先端モデルであっても、監視なしに放置されると、非効率的で「醜い」コードを生成することがあります。

Short Leash ワークフローの実装

Short Leash 手法は、特定のドメインにおいて最先端 AI モデルを凌駕する専門知識を持つプロフェッショナルなソフトウェア開発者のために特別に設計されています。ワークフローは以下の要件で構成されています：

1. 計画と追跡

開発者は、タスクを調査し、計画を策定するために専用の計画フェーズを使用すべきです。「tasks skill」のようなツールを使用して、大きな目標を管理可能なサブタスクに分割し、進捗を正確に追跡する必要があります。

2. 厳格な権限管理

AI が制御不能な変更を行うのを防ぐために、開発者は以下のことを行う必要があります：

• "YOLO" モードを無効にする: 権限プロンプトをスキップしてはいけません。
• Diff を分析する: 権限プロンプト内で提案された変更の diff を表示するコーディングエージェントを使用してください。開発者は、権限を付与する前に、すべての変更を手動で分析する必要があります。
• 権限を拒否する: 意図した目標に沿わない提案された変更は、直ちに拒否してください。

3. 継続的インテグレーションとバージョニング

Opus のようなモデルで見られる既知の問題である作業の喪失を避けるために、すべてのサブタスクの終了時にコミットを行う必要があります。これにより、AI が以前に検証済みの進捗を誤って削除することを防ぐことができます。

二重層の AI と人間のレビュー

高品質なコードには、ハイブリッドなレビュープロセスが必要です。人間と AI の両方によってレビューされた PR は、どちらか一方のみによってレビューされた PR よりも一貫して正確です。このモデルでは、AI は一般的なミスをキャッチするための高速な linter として機能し、人間は高レベルのアーキテクチャの問題や方向性の変更に焦点を当てます。

レビュー・プロトコル

• Contextual AI Review: AI レビュアーは、issue、PR 説明、コードベース、および特定の変更を含む、完全なコンテキストを保持している必要があります。
• AI Disclosure: すべての PR 説明には、使用された正確なモデルを指定する「AI Disclosure」の見出しを含める必要があります。これにより、メンテナーは使用されたモデルの潜在的な弱点を把握でき、透明性が示されます。
• Mandatory Self-Review: AI を使用してコードを生成した場合、作成者は自身の PR を、あたかも他人の作業をレビューしているかのように、一行ずつレビューする必要があります。作成者は、メンテナーのレビューを依頼する前に、明示的に自身の承認をを確認定めます。

このプロセスにより、PR を提出する人間が提出するコードを完全に理解していることが保証され、セキュリティが重要なシステムの整合性を維持します。