スロップ死: AIの幻覚があなたの死亡記事を書くとき

インターネットは常に噂が速く広がる場所でしたが、現代のAIの速度と自信は新しく、超現実的な種類の誤情報をもたらしました。Cliff Stoll—画期的なハッキング年代記 The Cuckoo's Egg の著者であり、Klein bottle ビジネスのオーナー—は最近、実際にはまだ生きていることを人々に伝えなければならないという奇妙な立場に置かれました。

このシナリオは、Stollが自分の死後にビジネスがまだ運営されているかどうかを尋ねる心配する個人からのメールを受け取り始めたときに展開しました。出所は？Facebookで流布している The Cuckoo's Egg のAI生成レビューです。そのレビューは単なる合成的称賛を提供しただけでなく、Stollが2024年5月に死亡したと自信満々に宣言しました。

「AIスロップ」の台頭

Stollの経験は、現在多くの人が「AIスロップ」と呼んでいるものの教科書的な例です――低品質でAI生成のコンテンツで、ソーシャルメディアのフィードを埋め尽くし、アカウントを増やしフォロワーを獲得することを目的としています。Hacker News のコミュニティメンバーが指摘するように、この種のスパムの参入障壁は非常に低いです。

「興味深いことについてソーシャルメディアの投稿を書かせるのにLLMに1分未満で依頼し、オンラインに投稿するだけです…私が見るアカウントは、たくさんのミスをし、事実を幻覚する安価なモデルを使っているようです。」

これらの幻覚は単なるバグではなく機能だという皮肉な理論があります。捏造された事実が提供する「余分なスパイス」によって投稿がより面白く感じられ、合成コンテンツの特徴をまだ認識できていないユーザーに共有されやすくなると指摘する人もいます。

パフォーマンス妄想

LLM の技術的失敗を超えて、この事件は情報の生成方法におけるより深い哲学的シフトを浮き彫りにしています。AI は正確さではなく「パフォーマンス」の観点で全てを見る人々によって開発されていると主張する人もいます。この枠組みでは、根底の事実が真実かどうかに関わらず、説得力のある物語や魅力的なコンテンツを作ることが目標です。

この「パフォーマンス妄想」は自信に満ちた嘘として現れます。AI は自分が嘘をついていることを「知って」いるわけではなく、レビューのように聞こえるシーケンスで最も可能性の高い次のトークンを予測しているだけです。そのシーケンスに捏造された死亡日が含まれると、AI はそれを検証済みの事実と同じ権威で提示します。

偽情報のフィードバックループ

この傾向で最も懸念される側面は、誤情報の再帰的ループが生じる可能性です。AIモデルがウェブからスクレイピングしたデータで訓練され、ウェブが幻覚を含むAI生成の「スロップ」でますます埋め尽くされると、モデルはこれらの捏造を真実として扱い始めるかもしれません。

これにより、幻覚がさまざまなプラットフォームで繰り返し使用され、後続のAIモデルや油断した人間の目に「検証済み」の事実となる現象が生じます。ある観察者が指摘したように、これによりインターネットが「フィクションと虚偽の芸術作品」の集合体として見なされる未来が訪れる可能性があります。

デジタルトレイルの皮肉

この具体的な事例には深い皮肉があります。Cliff Stoll は The Cuckoo's Egg でコンピュータログを用いて実世界の侵入者を追跡した緻密で人間主導の努力で有名になりました。今や、彼は合成エンティティによって「追跡」され、存在しない墓へと導くデジタルトレイルで定義されています。

Stoll はこの状況をマーク・トウェインに敬意を表しながら対処し、死亡報告は「やや誇張されている」と指摘しましたが、この事件は厳しい警告となります。AI生成が蔓延する時代において、検証の負担は完全に消費者に移行しました。AI が「人々が気付く前に殺す」ことができるとき、残された唯一の真実は直接的な人間の確認、すなわち「まだ死んでいない」ことです。