AIサイコシス：なぜ迅速な復旧はシステムのレジリエンスに取って代われないのか

最近の刺激的な考察において、Mitchell Hashimotoは、企業全体に蔓延しつつある「AIサイコシス（AI精神病）」と彼が表現する現象について警告を発しました。この精神状態は、ソフトウェアシステムの維持をAIエージェントに不合理に過度に依存することによって特徴付けられ、根本的なエンジニアリング原則の危険な侵食を招いています。

その核心にあるのは、単なるツールの採用に関する議論ではなく、現代社会を動かすソフトウェアの信頼性をどのように確保するかという根本的な意見の相違です。企業が開発ライフサイクルのあらゆる段階にAIを統合しようと急ぐ中で、クラウドインフラの初期段階で見られたコストのかかる過ちを繰り返すリスクを冒しています。

MTBF vs. MTTR の決算

現在の危険性を説明するために、Hashimotoは、クラウド自動化への移行期におけるMean Time Between Failures (MTBF) と Mean Time To Recovery (MTTR) の間の歴史的な緊張関係との類似性を指摘しています。

MTBFはレジリエンス（回復力）に焦点を当てています。つまり、そもそも故障しないシステムを構築することです。MTTRは復旧に焦点を当てています。つまり、故障が発生した後に迅速に復旧できるシステムを構築することです。クラウド時代は、迅速な復旧が不可欠であることを教えてくれましたが、同時に重要な真実も明らかにしました。それは、復旧のためにレジリエンスを完全に放棄することはできないということです。

Hashimotoは、業界が現在、ソフトウェア開発プロセス全体に対して歪んだ「MTTRのみ」の考え方を適用していると主張しています。AIエージェントが人間の能力をはるかに超えるスピードと規模でバグを特定し修正できるため、バグを含んだままリリースしても許容されるという論理が押し進められています。しかし、このアプローチは、焦点が故障の防止から故障への反応へと移ることで蓄積されるシステム的なリスクを無視しています。

健康状態の錯覚

この「サイコシス」の最も陰湿な側面の一つは、それが表面上はポジティブに見える指標の背後に隠れていることが多いということです。Hashimotoは、システムが全体的に衰退している一方で、健康そうに見えるいくつかの方法を指摘しています。

Test Coverage: プロジェクトは100%のテストカバレッジを示しているかもしれませんが、もしAIがコードとテストの両方を書いているのであれば、システムの意味的な理解が低下します。テストはパスするかもしれませんが、間違ったものをテストしているか、あるいはコード内に存在するのと同じハルシネーション（幻覚）を反映している可能性があります。
Bug Reports: バグ報告の減少は、しばしば成功の兆候として引用されます。しかし、これは遅行指標である可能性があります。潜在的なリスクが表面下で爆発しており、特定の条件が揃ったときに壊滅的な故障を引き起こすのを待っているのかもし図れません。
Architectural Decay: AIによって加速されたスピードで変更が行われると、基礎となるアーキテクチャが気づかぬうちに衰退していく可能性があります。システムは「カタストロフィー・マシン（破滅の機械）」となります。高度に自動化されているものの、管理を任された人間にとって根本的に理解不能なものになります。

「収容所の患者が運営する精神病院」

Hashimotoの警告に関するコミュニティの議論は、AI生成の「クローズドループ」に関する懸念の高まりを浮き彫りにしています。一部の観察者によって指摘されているように、プロセスの一切においてAIが使用される場合、その危険性は増大します。つまり、初期コードの記述、テストの生成、そしてコードレビューの実行です。

"It would make sense to use AI for writing code, but human code review. Or, human code, but AI test cases... once it gets used for everything, people have lost the plot, it's the inmates running the asylum."

人間が検証のループから外されると、システムは現実との接地感を失います。システム的な崩壊を防ぐための相互チェック機能が、AI自身のバイアスやエラーを反映する鏡に置き換わってしまいます。

経済的および文化的圧力

なぜこのようなことが起きているのでしょうか？一部の人々は、これが単なる技術的な問題ではなく、財務的な問題であると主張しています。AIの商業化に膨大な額のベンチャーキャピタルが流れ込んでいるため、企業はAI主導のワークフローへと完全に転換することに存亡的な必要性を感じています。このような環境では、資金調達という船に乗っている者にとって、失敗の可能性を受け入れることは選択肢にならず、妄想に近い強制的な楽観主義へとつながります。

結論：形式的検証の必要性

これを単なる企業の流行や、最終的には自ら修正される「カーゴ・カルト（模倣信仰）」と見なす人もいますが、事態は通常よりも深刻です。AIの導入スピードは、「学習経験」が壊滅的なものになる可能性があることを意味しています。

進むべき道は、厳格さへの回帰かもしれません。生成AIの熱狂が落ち着いたとき、業界はソフトウェアエンジニアリングの新しい時代を渇望することになるでしょう。それは、AIの出力が盲目的に信頼されるのではなく、精緻なアーキテクチャと厳格な基準に基づいて形式的に検証される時代です。その時までは、エンジニアの課題は、復旧に執着する自動化の時代において、レジリエンスに関する合理的な対話を維持することです。