大規模言語モデルの一般的な失敗モード：開発者の経験から得た知見

LLMの限界の概要

大規模言語モデル（LLMs）は、正確な空間的推論、否定的制約の厳密な遵守、そして微細な人間の判断を要するタスクにおいて、一貫して困難を抱えています。これらのモデルは意味的合成において優れている一方で、物理空間の心理モデルを必要とする「簡単な」タスク、情報を追加するのではなく削除する能力、または汎用的でない創造的コンテンツの生成において頻繁に失敗します。

空間的・機械的推論の失敗

LLMsは物理的または幾何学的空間の信頼できる内部表現を持たないため、建築設計やUI設計において体系的な失敗を起こします。

建築およびUIレイアウト

詳細な部屋のノードグラフが提供されても、機能的な建築平面図を生成できません。ユーザーは、良い平面図のルールを説明することはできるものの、それを実行できないと報告しています。同様にUI開発においても、平面状の重複要素を特定したり、TypeScriptアプリやiOSゲームにおける空間的衝突を解決したりするのに苦労しています。

ナビゲーションとゲームロジック

テキストベースの環境では空間的理解がさらに制限されます。ユーザーは、NethackのようなASCIIマップを長期間にわたってナビゲートする際、LLMsが計画を立てられないことを指摘しています。チェスのような戦略ゲームでは、外部のチェスエンジンの支援がなければ正確にプレイできません。

指示の遵守と制約の順守

訓練の結果にもかかわらず、LLMsは明示的な制約、特に「否定的制約」（〜しないようにという指示）を無視することが頻繁にあります。

削除と編集の失敗

LLMsが情報を削除する際、明示的に削除することを言及しないと、削除できないという繰り返しのパターンがあります。ドキュメントからアイデアを削除するように依頼された場合、モデルはそのアイデアがもはや関連性がないと述べる文で内容を置き換えることが多く、単に削除するのではなく、置き換えています。スライドデザインにおいても、余白の扱いに苦労し、空のスペースを残すのではなく「特徴的なデザイン要素」を追加しようとする傾向があります。

指示と出力の混合

ユーザーは、モデルが編集指示を最終出力に混ぜ込むことがあると報告しています。たとえば、ドラフト内の特定のフレーズを変更するように依頼された場合、モデルは実際に編集されたドキュメントの本文の中に「XをYに変更」といったフレーズを含めてしまうことがあります。

持続的なルール違反

専用の設定ファイル（例：CLAUDE.md）を用意しても、モデルはしばしば確立されたルールを違反します。報告された例には以下が含まれます：

コマンドラインツールで誤ったフラグを使用（例：ripgrepで再帰に-rを使用するが、実際には置換の指示である）。
必要なユーザー承認なしにgitコミットを行う。
Djangoの複数行コメント内でバグを生成する。

領域固有の幻覚と正確性

精度が極めて重要なニッチな識別タスクや専門知識の取得において、LLMsは高い失敗率を示します。

視覚的識別と幻覚

種の識別（例：野鳥の観察）において、モデルは一般的な正確性は高いものの、少数のケースで「顕著な誤り」を犯します。これらの失敗は、アップロードされた画像に存在しない物理的特徴（脚や尾の羽の詳細など）を幻覚して、誤った分類を正当化するものが多いです。

専門知識とゲーム

よく文書化されたビデオゲームのメカニクスについて、モデルは頻繁に幻覚を起こします。ユーザーは、Anno 1800 や Rainbow Six Siege といったタイトルについて、包括的なウィキが存在するにもかかわらず、Claude Opusがゲームメカニクスを捏造したと報告しています。

創造的・認知的ギャップ

微細な人間の直感、簡潔さ、または答えを提示せずに学習者を導く能力を要するタスクにおいて、LLMsは苦戦します。

ユーモアとトーン

AI生成のユーモアは「つまらない」とされ、企業のHRコミュニケーションに似ているとされています。これはRLHF（人間のフィードバックによる強化学習）によるもので、「エッジの効いた」または誤解される可能性のあるコンテンツを削除して安全性を確保するため、本物のユーモアが失われています。

教育的ガイダンス

モデルは、完全な解決策を提供するように過剰適合していることが多く、教育的なヒントを提供することができません。数学やプログラミングの問題についてヒントを求められた場合、頻繁に重要な洞察や完全な答えを提示し、学習に必要な「ネタバレ」の境界を保てていません。

プロンプト工学

LLMsが自らのプロンプトを最適化できるという仮定とは異なり、ユーザーはモデルが自らのプロンプト設計に劣っていると感じています。LLMにプロンプトを修正させようとする試みは、結果として性能が低下することが多く、プロンプト設計に関するトレーニングデータの質が低い可能性を示唆しています。

技術的・言語的欠陥

キーワード検索：意味的検索では優れている一方で、効率的なキーワード検索クエリの生成が不得意であり、非効率なブルートフォースの反復に頼ることが多い。
文字列操作：一部のユーザーは、高度なモデルが文字列長の基本的な計算に苦労していると報告しています。
文章の多様性：LLM生成の文章は、文構造が単調になりがちで、繰り返しや機械的な文章になりやすい。
会議要約：人間の会話で実際に重要な内容と単に話された内容を区別できず、要約と会話内容のマッチングが不一致になることが多い。