なぜAI生成言語はこんなに理解しにくいのか？ arXiv 2610.29162 のLLM文体分析

2026年10月21日にarXivに投稿された研究によると、テストされた9つのフロンティアおよびフロンティアに近い言語モデルすべてが、人間の書き手よりも心理言語学的に難しい構文を使用していることがわかり、その説明として、AIテキストはますます、数学、コード、推論における情報密度に最適化されており、成功したコミュニケーションには最適化されていない、と提案しています。「なぜAI生成言語はこんなに理解しにくいのか？」というタイトルの論文（arXiv:2610.29162、cs.CL、cs.AIクロスリスト、Thomas Clark提出）は、Hacker Newsで251ポイント、約200コメントに達し、実務家たちはその診断をほぼ受け入れ、独自の症状を追加しました。

論文の中心的主張

AI生成テキストが最近理解しにくくなったという広く行き渡った感覚は、主観的な印象ではなく、測定可能な言語現象です。論文は、言語モデルが心理言語学で人間の処理困難を増加させることがすでに知られている特徴を過剰に使用しており、この過剰使用は、情報密度を報酬とし、成功したコミュニケーションを報酬としないトレーニング目標の副次的影響であると主張しています。

研究が測定したもの

この研究は、多様な領域にわたるAI生成テキストの新しいコーパスを構築し、人間の読解困難と相関することが知られている心理言語学的特徴（目的格関係節、長い統語的依存関係、低頻度のn-gram）でスコアリングしています。比較ポイントとして、往復翻訳によるパラフレーズと人間の書き言葉の2つが使用されています。

特徴の選択は結果の解釈に重要です。目的格関係節、長い依存関係、まれなn-gramは、この枠組みでは文体の好みではなく、読者がどれだけ時間をかけ、文を誤って解析する頻度の確立された予測因子です。

モデル別、特徴別の結果

人間の書き言葉と比較して、テストされた9つのフロンティアおよびフロンティアに近いモデルすべてが、無生物主語と生物動詞の組み合わせ、および低頻度のn-gramをより多く使用しました。9つのうちほとんどが、会話においてより長い統語的依存関係、より多くの名詞の連続、より多くの縮約目的格関係節も使用しました。論文はモデルファミリー間でかなりのばらつきを報告しており、この行動はラボやモデルの系統間で一様ではありません。

モデルはまた、往復翻訳によって生成されたパラフレーズよりもこれらの難しい特徴を頻繁に使用しており、この効果は単にパラフレーズや単一の書き換えパイプラインの副産物ではないことを意味しています。

提案された原因：情報密度とコミュニケーション

論文の仮説は、人間の言語は成功したコミュニケーションに最適化されている一方、AI生成テキストはますます数学、コード、推論などの他の目標に最適化されており、そこでは相互理解ではなく情報密度への圧力がかかる、というものです。その圧力の下で、圧縮され統語的に珍しい構文は、人間の読者にとってコストがかかる場合でも、トークン効率が良いのです。

著者らは完全な因果説明ではなく、概念実証を提供しています：長さペナルティの下で言語モデルを微調整すると、人間らしい言語行動から逸脱します。言い換えれば、より短い出力に報酬を与えるだけで、人々が自然に生成するものから文法上の選択をシフトさせるのに十分です。

強化学習との関連、論文自身の言葉で

論文の結論は、Hacker Newsのスレッドでコメンターorbital-decayによって引用され、この効果をGRPOを用いた強化学習と検証可能な報酬に結び付けています：

我々はこれらの結果を、GRPOを用いた強化学習中に使用される長さペナルティが文法特徴に直接影響を与えうるという概念実証とみなします。モデルは圧縮された、または密度の高い言語を使用するように直接指示されたわけではなく、統語的交替の利用可能性について直接情報を与えられたわけでもないことに注意します。むしろ、ペナルティは統語的交替のより短いメンバーへの創発的な選好をもたらしました。[...] 我々は、検証可能な報酬の使用が、正しさが人間らしいコミュニケーションから切り離された環境を作り出し、モデルが新しく、おそらく理解しにくい言語使用の分布に収束するように導くと推測します。

Orbital-decayは、この現象がレジスター特異的であると指摘しました：それはClaudeのデフォルトのレジスターで見られ、モデルはプロンプトによって異なる書き方をすることができます。

スタイルが生まれる理由についてのコメンターの説明

RLHFは良い書き方の見た目に報酬を与え、有用性には報酬を与えなかった

あるテクニカルライターは、デフォルトのモデル応答は、実際に良い書き方ではなく、人々が良い書き方だと思うものに最適化されていると主張しました。コメンターdividefuelはこれを、評価者の第一印象に調整されたRLHFの長年の影響に帰しました：

リストを使う！見出しがある！'決定的証拠'のような面白いフレーズを使う！長くて情報豊かだ！これらは比較的迅速かつ簡単に識別して選好として選択できます。しかし、これらは応答が聴衆にとって有用かどうかを実際にはカバーしていません。あなたが聴衆でない場合、何が有用で何がそうでないかを判断するのは難しいかもしれません。

コメンターcharlieyu1は、理解のしやすさはトレーニングでまったく優先されておらず、フロンティアラボが測定不可能で主観的なものに最適化するためにお金を使うとは思えないと補足しました。

トレーニングコーパスは説得、専門用語、ノイズへ引っ張る

数人のコメンターは問題をデータに求めました。コメンターanigbrowlは、トレーニングコーパスには、批判的思考を麻痺させ行動を促すように設計された大量の商業的スピーチや、しばしば修辞的誤謬を通じて説得するために書かれた意見記事が含まれていると観察しました。コメンターpodocarpは、インターネット全体の平均でトレーニングされたモデルは、ジャンクが良い書き方をはるかに上回る分布から学習し、RLHFはさらにユーザーの選択の平均にバイアスをかけると主張しました。コメンターlhwy02jsjは、トレーニングデータは文脈を詳述し正確さを目指す人間の表現を反映しており、生成を会話的コミュニケーションではなく複雑さへと押しやると関連する観察をしました。

トークン効率は密度の高い名詞句に報酬を与える

スレッドで最も具体的な機械的説明はトークン経済でした。コメンターbassie123は、AIライティングは最小のトークンで最大の情報を詰め込むように最適化されていると主張し、例を挙げました：

（例：「ベースラインシステム状態遷移レイテンシ検証」）を前置詞で展開する代わりに（「ベースラインシステムの状態遷移のレイテンシを検証する」）。

同じコメンターは、スキミングが得意な読者はAI生成テキストに問題が少ないかもしれず、困難は逐次的理解に依存する読者に集中しているかもしれないと推測しました。コメンターameliusは密度の議論をユーザー向けテキストを超えて拡張しました：AI生成言語がエージェントに指示を与え、推論ループに供給するために内部的に使用される場合、結果のみに最適化することは、モデルがますます人間ではなくAIを話すことを意味します。

テキストの背後に心はない

コメントのクラスターは、困難は言葉の選択の問題ではなく、作者の不在の問題であると主張しました。コメンターlukevは、LLMテキストは「完全に良い言語であり、有効な認知的および情報的パターンに従っているが、別の心の意図やメンタルモデルを反映していないため、理解しにくい」と書きました。コメンターTerr_は読者側から同じ議論をしました：人間のコミュニケーションは、相手の心を無意識にシミュレートすることに基づいており、LLM出力はそのシミュレーションを一貫して失敗させるため疲れる、とし、要件を十分に満たすため交尾本能を引き起こすプラスチックの動物に例えました。コメンターnoosphrは、接地の欠如に帰しました：「AI生成テキストには、人間中心の物理的現実の基盤となるモデルがなく、その比喩はその結果として苦しめられている。」コメンターgrey-areaは「単語生成器であり、意味生成器ではない」と要約しました。コメンターRapzidは同じ欠陥を設計能力に結び付け、モデルには認知的共感が欠けており、それが文章とシステム設計の両方で良いコミュニケーションを生み出すと主張しました。

AIテキストを読みにくくする特定の構文

他動詞の自動詞的用法

コメンターcryzingerは、論文で名前が挙げられていない構文を指摘しました：モデルは他動詞を自動詞として、人間の書き言葉ではまれな方法で使用します。例として「ユーザーがボタンを押すと、フォームが送信される」が挙げられました。コメンターは、「submit」の有効な自動詞用法は存在するが、その文脈で意味をなすものはなく、「submit」には目的語が必要か、受動態で表現されるべきだと指摘しました。この曖昧さは読者に推測を強いるため、技術文書では受け入れられないとコメントしました：「いわゆるドキュメントが読者/ユーザーに推測を要求するなら、何かがひどく間違っている。」

密度の高い名詞的スタイルと指示的省略

コメンターlxeは、文章明瞭化プロンプトを反復して、そのプロンプトが対象とするパターンに名前を付けました：「接続詞省略の並置と指示的省略、繰り返される修辞的終結。」コメンターは、このフレーズは問題を完全には捉えていないが、近いと述べました。接続詞省略の並置とは、接続詞なしで節が結合されることです。指示的省略とは、指示対象を暗黙のままにすることです。繰り返される修辞的終結とは、同じ要約的なリズムで文章を終えることです。これら3つの特性が組み合わさると、密度が高く、自己言及的で、奇妙にリズミカルなテキストとして読まれます。

曖昧さをヘッジとして、ガーデンパスをオプション保持として

コメンターvikramkrは、曖昧さとデコードを結び付ける推測的なメカニズムを提供しました：裸の「それ」のような曖昧な参照は、モデルが後続のトークンが正しい方向に解決するまでコミットしないことを可能にし、一方で早い段階で明確な名詞にコミットすると、間違った答えを修正できなくなる可能性があります。同じコメンターは、スタイルのどの部分が実際のRL効果であり、どの部分が過剰解釈であるかを疑問視し、モデルは同じソースを蒸留しない限りすべて同じように書くわけではないと指摘し、最近のOpusモデルがより普通に話すように強化学習され、前任者よりも読みやすく、スコアも良かったという記憶を引用しました。コメンターxg15は、強化学習圧力の下でのステップバイステップの推論が文法的に曖昧な文を促進するかもしれないという関連する推測を提供しました。なぜなら、曖昧さはモデルのオプションを文の後半まで開いたままにするからです。

冗長性と密度

スレッドには、問題が圧縮すぎるのか、それとも少なすぎるのかについて直接的な意見の相違がありました。コメンターpetersumskasは過度の簡潔さに遭遇していないと報告し、彼らが「Claudish」と呼ぶものは「この1つのトリックでXのエキスパートになる」ジャンルに近いと述べました：延々と続き、なかなか要点に達しない記事で、彼らはより簡潔にするよう頼むことで修正しています。コメンターbassie123は自分自身には逆の問題を報告しました。両方が真実であり得るのは、論文の測定された特徴は構文と語彙の難しさに関するものであり、生の長さではないからです。

議論で提起された反論

コメンターjasomillは前提を部分的に拒否しました：「AIの文章をまったく理解しにくいとは思わない、ただ少し退屈だ」と述べ、いわゆるAIイズムの多くは自分自身の文章から明確さのために削除するパターンでもあると指摘し、emダッシュを正当で望ましいものとして擁護しました。また、同じ批判の多くは人間の散文にも向けられる可能性があると観察しました。

コメンターionetanは、この現象は人工的に特有のものではなく、政治家や学者が巧みに表現しながら、よく解析すると無意味なことを言う場合を指摘しました：「AIは抽象的な言語を使用し、印象的で雄弁に聞こえるが、実際にはほとんどが無意味なふわふわしたものだ。」この枠組みは、論文の測定された特徴が、言語モデルより前から存在する気取りのスタイルを捉えている可能性を示唆しており、モデルが現在それをより大量に生産しているとしてもです。

コメンターorbital-decayの、効果はレジスター依存であるという指摘は、主張の重要な境界です：デフォルトで圧縮されているように聞こえる同じモデルが、そのスタイルから外れるように誘導できるということは、その行動が固定された能力ではなくデフォルトであることを意味します。コメンターSelf-Perfectionは、これを意図的に悪用できると提案し、プロンプトインジェクションを役割混乱として扱う研究を指摘し、異なる役割が異なる構造と質感のテキストを生成することを示し、モデルが思考役割で情報密度を維持し、アシスタント役割で人間が読めるテキストを生成するように調整できると示唆しました。

人々が報告した実用的な緩和策

数人のコメンターが、出力を測定可能に変えるステアリング技術を説明しました。コメンターcowlbyは、一貫して「8年生の読解レベル」、「子供向けの物語本」、またはASD-STE100簡略化技術英語を要求し、小さなステアリングでも言語選択を大幅に制約することを発見したと報告しました。コメンターlxeは、反復された文章明瞭化プロンプトを公開gistに公開しました。コメンターTheSmokeは、技術文書、システム設計、アーキテクチャ、コードコメントのためにpstackプラグインコレクションの「unslop」とテクニカルライティングスキルを使用していると報告しました。コメンターunsloppableは、AIコピーを意味の構成要素に展開し、それをより普通の言語で書き直すツールを構築したと説明し、仕事で大量のAI生成テキストを理解する必要があったことが動機であると述べました。

スレッドが未解決のまま残した未解決の質問

コメンターsadrasabouriは、古いシステムのような自然言語のみでトレーニングされたモデルが同じ特性を示すかどうか、また数学、コード、推論のトレーニングがある面で役立つ一方で、この文体を副次的影響として生み出すかどうかを尋ねました。この質問は論文の因果仮説を直接テストするものであり、スレッドでは回答されていません。

コメンターprmphは、モデルが時間とともに悪化したように見える理由を尋ね、以前はかなり明確だったClaudeの文章が理解不能で奇妙になった特定の期間を思い出しました。スレッドでは誰も決定的な説明を提供しませんでしたが、vikramkrの、文体はGPU時間をどこに使うかについての意図的な製品決定であるという提案が1つの候補です。

コメンターarmchairhackerは、構文とはまったく関係のない関連する失敗モードを提起しました：モデルは重要なことと平凡なことを区別するのが苦手です。高レベルの仕様を改善するように求められたモデルは、難解なエッジケースや実装の詳細を文書化することを絶えず提案します。コメンターianmarcinkowskiは職場側から同じテーマにアプローチし、同僚が文章をAIに通すことについてのチームの会話を語り、スレッドのトーンがほぼ共有する立場を述べました：「書くことは考えることだ」とし、彼らはむしろ考えたいと付け加えました。コメンターはさらに「AIの文章が嫌いだ。本当に。」と付け加えました。

結論

arXiv論文2610.29162は、一般的な不満をテスト可能な主張にまとめています：9つのフロンティアおよびフロンティアに近いモデルは、人間よりも難しい心理言語学的構文を使用し、強化学習中に適用される長さペナルティは、それだけでモデルを人間らしい文法から遠ざけるのに十分です。Hacker Newsの議論は、同じ観察に対する3つの補完的な説明に収束しました：RLHFは一見して印象的に見える文章に報酬を与え、トレーニングコーパスは説得力のある商業的なテキストで飽和しており、読者は存在しない心をモデル化しようとしています。論文とスレッドの両方で最も実行可能な発見は、このスタイルはハードな制約ではなくデフォルトであるということです。読解レベルの指示、明確化プロンプト、明示的な役割分離はすべて出力を変えるからです。