arXivにおけるAI生成文章の測定：傾向と限界

12,750件のarXiv論文を対象とした研究により、現在、新規投稿論文の約3分の1が機械的に書かれたように読めると示されており、ChatGPTのリリース後に急増しています。この結果は学術的な執筆パターンの大きな変化を示唆していますが、著者らは、検出は特定の執筆者を証明するものではなく、機械的な散文を特定するものであると強調しています。

学術論文におけるAI普及の傾向

arXiv論文における機械的な執筆の兆候は、2021年から2022年にかけて0.4%で横ばいでしたが、その後、2つの波を経て直近の完全な四半期までに約32%まで上昇し、2026年初頭には39%近くでピークに達しました。正確性を期すため、研究者らはLLM以前の論文を真の人間によるコントロール群として使用して検出器を調整し、本物のChatGPT以前のテキストのわずか0.4%のみがフラグを立てられるように閾値を設定しました。

分野別の分布

AIのような執筆の採用は、分野によって劇的に異なります。2026年7月までの12ヶ月間における、フラグが立てられた割合は以下の通りです：

分野グループ	LLM以前のコントロール群	直近のフラグ割合	95% CI
Computer science	0.2%	65.0%	[59.3, 70.3]
Quantitative biology	3.5%	56.3%	[51.0, 61.7]
Electrical eng. & systems	1.7%	51.3%	[46.0, 57.0]
Economics & finance	2.5%	47.0%	[41.3, 52.7]
Applied physics	1.3%	34.0%	[29.0, 39.7]
Statistics	1.8%	31.3%	[26.0, 36.7]
Condensed matter	0.0%	24.0%	[19.3, 29.0]
High-energy physics	0.5%	14.0%	[10.0, 18.0]
Astrophysics	0.0%	10.7%	[7.3, 14.3]
Mathematics	0.0%	0.7%	[0.0, 1.7]

Computer scienceは65%と最も高い普及率を示し、一方でmathematicsは0.7%と最も低い値を示しています。

方法論的枠組みと限界

この研究では、改訂版が古い時間枠に現代のテキストを漏洩させるのを防ぐため、12,750件の論文のversion-1 PDFを分析しました。研究者らは、抄録（abstracts）はAIの兆候を過小評価することが多いため、抄録ではなく本文全体をスコアリングしました。

主な限界

• Mathematicsの盲点: mathematicsにおける低いスコアは、採用の低さではなく、検出器の盲点である可能性があります。数学の論文は記法や定理・証明の構造によって支配されているため、残りの散文は乏しく、検出器の学習に使用された科学的な英語とは異なります。
• 下限推定: 検出器が、著者が使用するモデルやプロンプトのあらゆるプライベートな組み合わせをカバーしていない可能性があるため、報告された普及率はおそらくAI支援による執筆の真の割合の下限とみなされます。
• 検出 vs. 執筆者: フラグは、テキストが機械的に書かれたように読めることを示しており、完全に生成された文書か、AIによる大幅な編集が行われた文書かを区別することはできません。

コミュニティの洞察と反論

研究者や開発者の間での議論は、学術界におけるAIの使用と検出ツールの信頼性に関するいくつかのニュアンスを強調しています。

非ネイティブ英語話者による執筆におけるAIの役割

多くの研究者は、AIをコンテンツ生成器としてではなく、主に翻訳や推敲のツールとして使用していると示唆しています。

"I think most of the papers we write would be flagged by AI detectors... because we are bad at writing in a scientific style, and american editors expect us to do it. With LLMs, we can write in basic sentences and it converts that to nice writing."

検出精度の懐疑論

一部のユーザーは、LLMの存在以前に手動で執筆した論文に対して、高いAIスコアが報告されており、研究のキャリブレーションにもかかわらず、誤検知（false positives）の可能性があるを示唆しています。

"I uploaded a PyHPC workshop paper I wrote in 2011 and it said 27% machine. I also uploaded my PhD dissertation from 2012 and got back 40% machine."

他の批判者は、学術的な執筆スタイル（しばしば冗長で定型的なもの）の性質が、LLMが生成するように学習されているパターンを自然に模倣してしまうため、言語学的分析のみを用いて有機的なテキストと合成的なテキストを区別することは根本的に困難であると主張しています。

研究成果の出力の増加の可能性

一部の主張者は、LLMが、高い技術的スキルを持ちながら学術的な執筆における摩擦を軽減したい研究者にとっての参入障壁を降低させ、、、研究の質が高い論文の出版量が増加する可能性があると論じています。