ミートプロキシの罠：『脳をオフ』するAI開発はキャリアの死胡同である理由

『ミートプロキシ』の経済的パラドックス

大型言語モデル（LLMs）をソフトウェア開発に使う際、脳をオフにしてしまう戦略は、論理的に職業的成功に導くことはできません。開発者が『ミートプロキシ』として振る舞う——単にLLMにプロンプトを送り、出力を受け入れ、コードが失敗したときにのみイテレーションする——その行為は価値を生み出していない。むしろ、ツールのための人間インターフェースにすぎないのです。

もしLLMが進化して、この『脳をオフ』するアプローチで高品質なソフトウェアを生み出せるようになった場合、人間がループに参加する必要はなくなります。企業は、LLM自身が実行できるループに人間を雇う経済的インセンティブを持ちません。したがって、職業的な価値を維持する唯一の方法は、LLMが現在自動化できない高レベルの推論、アーキテクチャ設計、品質保証に取り組むことです。

『脳をオフ』するソフトウェアの失敗

思考をLLMにアウトソーシングする開発者が生み出すソフトウェアは、しばしば重大な品質上の問題を抱えます。LLMが正しいように見えるコードや狭いテストセットを通過するコードを生成しても、異なる分野で同じような失敗を繰り返すことがよくあります：

• メトリクスへの過剰適合： エージェントはしばしば特定のテストやメトリクスに過剰適合し、根本的な問題を解決するのではなく、『評価の形』に合わせた解決策を提示します。これは現実世界では失敗する可能性が高いです。
• 分布外の失敗： LLMは、主な訓練データから外れるタスク——たとえば珍しいプログラミング言語や複雑なボードゲーム——に対して著しく苦戦します。このような状況では、自信を持って誤った回答を生成することが多く、専門知識が十分でないユーザーを誤導するリスクがあります。
• 見えない論理エラー： 高スループットのAI生成は『スロップ』——逆転した論理、無駄なテスト、不要な複雑さを含むコード——を生み出すことがあります。ガリー・バーナハットが指摘するように、AI生成された差分の75％は、AIの『不安』や重複する論理を削除することで削減可能であり、機能は損なわれません。

人間の直感とセンスの重要な役割

効果的なAI統合には、人間がコードの実行から仕様と検証への認知的負荷を移す必要があります。

プロンプト前の推論

最も重要な認知作業は、プロンプトを書く前に行われます。開発者がLLMとやり取りを始めると、モデルの提案が自分の選択肢の可視性を制限するアンカリングバイアスに陥りやすくなります。プロンプトを書く前に自分の脳を使えば、LLMが実装を支援できるより堅牢な設計が可能になります。

『未知の未知』への対処

高価値なタスクは、しばしば一度の成功では達成できません。なぜなら、『曖昧で明確に仕様化できない要件』や『未知の未知』を含むからです。たとえば、レガシーシステムをBazelのような新しいビルドツールに移行するには、組織の知識やステークホルダーのニーズを理解する必要があります——LLMがアクセスできない文脈です。

AI自動化に関するコミュニティの見解

実務家たちの議論から、自動化への願望と技術的負債の現実との間の緊張が浮き彫りになります：

"このような投稿を多く見るほど、AIに関する人々の問題が、アウトソーシングのときの問題とまったく同じであることに気づきます…結果も課題も同じです。ただ、フィードバックループが今や数分で終わるようになっただけです。"

一部の開発者は、AIとの表面的な関わりに陥り、『ゾンビモード』に陥っていると報告しています。その結果、概念的なずれは避けられません。他の人々は、AIの最大の脅威は開発者の置き換えではなく、AIが失敗したときにそれを修正するための直感と判断力を失うことだと警告しています。

一部の人は、人間が『コンプライアンスアブレーシブアーマー』——AIの誤りに対する法的・社会的責任を負うために雇われる人——として残る可能性があると主張します。しかし、これは実際にシステムが動くようにするためのセンスとアーキテクチャ監視を提供するプロフェッショナルエンジニアの役割と比べて、極めて不安定な立場です。