あなたが書かなかったものを読みたいとは思わない – AI生成テキストがコミュニケーションを損なっている理由

AI生成の文章は読みにくく、逆効果である

要点: AIで書かれた設計文書、PR要約、メールはしばしば濃密で文脈を欠き、読者を苦しめるため、協働を損なう。

  • 著者は、すでに構築した作業を後からAIで要約するために利用し、設計文書を一貫した機械生成レポートに変える。これは視点や合意形成の意図を欠く。
  • LLMが生成するプルリクエストの説明は、すべての変更を列挙するが、リスクや緊急性、レビュアーの意見が必要な箇所を示さない。結果としてレビュアーは優先順位を決められない。
  • AIで作成された個人的なメッセージは無機質で断片的になり、発信者の声や感情のニュアンスが失われる。
  • 著者はシモン・サリスの言葉を引用する: 「自分の経験に基づいてできるだけ多く書くべきだ…読者に自分自身の人生や出来事の描写を提供するべきだ。」 これは、本物の、人間による文章の価値を強調している。

「自分自身の経験、自分の感覚に基づいて、できるだけ多く書くべきだと考える。読者に自分自身の人生や出来事の描写を提供するべきだ。」 – シモン・サリス、Resist Summary

読者はプロンプトエンジニアが持つ文脈を持たない

要点: 人がAIを使って書くとき、その人はプロンプトの文脈を保持するが、出力を受ける他の誰もがその文脈を持たず、全文を読まないと理解できない。

  • シンシア・ダンロップの調査では、78%の開発者がAI生成と疑われる記事を読むのをやめる。71%はその後その著者を避ける。
  • ブライアン・キャントリルはこれを「LLMによって引き起こされる中止ハンドル」と表現し、文章途中で読むのをやめてしまう状態を指す。
  • ブヤルネ・ストロストルプは、読者が著者の声を感じることがエンゲージメントに不可欠だと指摘。AI再編集された文章は乾燥しており学術的である。
  • 著者の経験:自分がLLMにプロンプトを与えると、制約を知っているため出力をスキャンできるが、同じ出力を受ける同僚は徹底的に読まねばならず、しばしば放棄する。

AIが実際に文章作成に役立つ場面

要点: AIは、アシスタントとして使われる場合、検証、引用、文法、要約といった低レベルのタスクで優れた成果を出す。

  • 学術論文では、著者はAIを使ってソースコードやログと照合し、技術的詳細(例:データベースインデックス、Parquetのソート)を検証。人間のレビュアーが見逃したミスを発見した。
  • AIがBibTeXの引用を自動入力し、文章の流れを壊さずに時間を節約。
  • LLMからの文法・スタイルの提案で読みやすさが向上。モデルは完璧な要約を生成し、要約に適したタスクだった。
  • AIが描いたTikZ図表は図作成を加速した。

「AIは非常に優れており、実際には厳しく、綴りや文法のミスを発見していた…私が一文で誤った表記を使っていた非常に微妙なミスも発見していた。4人の人間レビュアーが見逃していた。」

現在のLLMの限界と改善の可能性

要点: LLMは根本的に感情や読者の心理モデル、個人的な関与を欠く統計的予測器であり、真に共感を呼ぶ文章を生み出す能力に制限がある。

  • ムラト・デミルバスは、LLMが次単語の確率を最適化するため、創造的意図ではなく、文章の質が plateau(平台)に達していると主張。
  • 論文はASD-STE100簡略技術英語基準を、技術文書の明確さを強制する手段として挙げているが、これは取扱説明書にしか適さない。
  • Oxideでは、AI生成テキストを検出するように微調整されたモデルPangramが導入され、「人間が執筆した」という契約を強制している。

「LLMは特定の人の読者に対する能動的な心理モデルを持たないため、単に次の単語の統計的確率を最適化しているだけである…人間の読者に共感することはできない。なぜなら、人間の経験を持っていないからだ。」 – ムラト・デミルバス

人間の要素:声、不確実性、物語

要点: 本物の文章は、AIが再現できない不確実性、個性、物語の深さを伝える。

  • イェイン・マギルクリストは、重要な概念は言語に還元されにくいと主張。AI生成の「詳細」は、本物の理解なしに意味の錯覚を生む。
  • シモン・サリスは、「物語は圧縮に抵抗する」 と強調し、細部への注意は要約の反対であると述べる。
  • HNのコメントも同様の意見を示す:多くのユーザーはAIで埋め尽くされたPRやチケット、エッセイを読むことを拒否し、完璧でなくてもよいが生きた人間の思考を好む。

「文章を書くとき、言葉の意味は常に直接的、事実的、簡潔であるとは限らない…全体を部分に分解すると、意味の大幅な損失が生じる。」 – イェイン・マギルクリスト

コミュニティの反応と実用的な対策

要点: Hacker Newsの議論から、AI生成のノイズを軽減しつつ、有用な支援を維持する具体的な戦略が浮かび上がっている。

  • 事前セクション: あるコメント者は、PRに「AI;DR」という人間が書いた事前説明を追加し、リスクとレビュアーの注目点を要約している。
  • 人間専用のTL;DR: 他の人は、TL;DRセクションをAIから離すことで、上位レベルの意図を伝えるべきだと提案。
  • ペアレビュー: 同期的なPRレビューにより、人間の文脈を復元し、AI生成の要約が見逃すミスを発見できる。
  • ASD-STE100プロンプト: チームはエージェントのプロンプトを調整し、簡略技術英語で出力するようにしている。これにより技術文書の読みやすさが向上。
  • 選択的プロンプト: 一部のユーザーは、注意深く作られたプロンプトで読みやすいAI出力を得られるが、それでも自分の声を保つために編集する。
  • 境界設定: 複数のコメントは、同僚に「LLMを使わないバージョン」を要求することを推奨。AIの使用に関する文化的規範を確立する。

「同僚に直接『私のためにLLMを使わないバージョンを送ってください』と頼む。最初は少しぎこちないが、継続的に人間の文章を求めることが、私には効果的だった。」 – HNのコメント者

結論:人間の声を守り、AIを道具として、代替品として使わない

要点: コミュニケーションを効果的に保つため、著者はAIに繰り返し作業、検証、フォーマット処理を任せつつ、物語、文脈、声の主導権を人間が保持すべきだと主張する。

  • 論文の最後の訴え: 「重要なものをAIで読みにくく要約して、それに対してAIを使って解読しようとすることを、私は望まない。私はあなた自身の、完璧でない声を聞きたい。」
  • AIがますます普及する中で、意図的な文章作成(思考するため、創造するため、共有するため)の価値は高まり、AI生成の「雑文」の洪水は、本物の人間の表現を求める読者によってフィルタリングされるだろう。

議論からの主要な引用

「誰かが自分で書く価値があると思わないなら、それは私の読む価値もない。」 – HNコメント者

「このような文書を読むことは、単に難しいだけでなく、罰せられるようなものだ。」 – 複数のコメント者が問題を的確に要約するために繰り返し引用。

「設計文書はもはや合意形成の提案ではなく、文脈や視点のない、細部まで徹底的に機械が生成した要約である。」 – 著者のAI生成設計文書に対する批判。

「私は、誰かが自分自身であり、自分の声で書くこと、あるいは少し情熱を込めて書くことを、言葉がうまく見つからないとしても、ずっと好む。」 – 著者の個人的コミュニケーションに関する見解。

「AI;DR」事前説明は、人間が書いた上位レベルの概要を提供することで、PRの説明を救うことができる。 – コミュニティの提案。


実践者への要点

  1. LLMを低レベルの支援に使う:文法チェック、引用フォーマット、図表生成、事実の検証。
  2. 物語、リスク評価、レビュアーへのガイドラインは人間が書くセクションに保つ。
  3. 技術文書ではASD-STE100などの基準を採用し、明確さを強制する。
  4. 必要に応じて検出ツール(例:Pangram)を導入し、人間が執筆した契約を強制する。
  5. チームの規範として、重要なコミュニケーションではLLMを使わないバージョンを要求する。

AIを本物の声の代替品ではなく、協働のアシスタントとして扱うことで、エンジニアやライターは「読みにくい雑文」の流行を避け、技術的コミュニケーションの効果を保つための人間関係を維持できる。

Sources

関連