古典的機械学習による LLM 生成テキストの検出

LLM生成テキストの検出：古典的機械学習によるアプローチ

古典的MLはAIテキストと人間テキストを効果的に区別できる

主流の大規模言語モデル（LLM）によって生成されたテキストは、統計的パターンが顕著であり、従来の機械学習を用いることで人間が書いたコンテンツと区別できます。TF‑IDF（Term Frequency‑Inverse Document Frequency）と Linear Support Vector Classification（SVC）を組み合わせたプロジェクトでは、AI生成文の検出精度が約85％に達し、検出に別のLLMを使用するよりも「古典的」MLの方が効果的で計算コストも低いことが示されました。

手法：TF‑IDF と Linear SVC

テキストのパープレキシティに依存する従来の方法は、推論コストが高く、モデル間の汎化性能が低いことが多いです。本アプローチでは、scikit‑learn の標準的な分類パイプラインを使用します。

データ生成

分類器を訓練するために、以下のバランスの取れたデータセットを作成しました。

  • 人間が執筆したサンプル: 2010 年から 2022 年（ChatGPT 以前）に公開された、文字数が数千に及ぶテキストを約 10,000 件。
  • AI生成サンプル: 同じ人間テキストを LLM に要約させ、その要約から再び全文記事を生成しました。これにより、AI コンテンツはジャンルやテーマが元の人間テキストとほぼ一致するようにしました。

AI 訓練データの多様性を確保するため、以下の 7 つの異なるモデルを使用しました: gemini-3-pro, qwen-coder-plus, glm-5, glm-4.7, kimi-k2.5, doubao-seed-code, deepseek-v3.2。

訓練とアーキテクチャ

システムは 7 つの独立した二値分類器に対して多数決方式を採用しています。7 つのモデルのうち少なくとも 2 つが AI 生成と判定した場合、その文は AI 生成とフラグ付けされます。

パフォーマンス指標:

  • 文レベルの精度: ほとんどのモデルで約 85％。
  • F1 スコア: すべての二値分類器で 80％ 超。
  • 特徴量セット: 最終的なウェブデモ版は、ブラウザ上での推論を最適化しつつ精度を保つために 500,000 個の特徴量を使用しています。

パフォーマンスと汎化能力

検出率

訓練に使用したモデルと未見のモデルの両方でテストした結果、頑健性が高いことが確認されました。

  • 既知モデル: Deepseek V3.2 と Doubao Seed Code の検出率はそれぞれ 78.4％、93.0％。
  • 未見モデル: Claude Sonnet 4.6 と GPT 5.2 の検出率はそれぞれ 71.9％、73.3％。
  • 人間ベースライン: 2022 年以前のウェブ小説やファンフィクションは AI 検出率が 30％ 未満で、70％ の閾値を使用した場合の偽陽性率は 0.01％ 未満でした。

検出回避の試み

一般的な「アンチAI」手法で分類器を回避しようとした結果、効果は限定的でした。

  • 翻訳ラウンドトリップ: 中国語→英語→中国語に翻訳しただけで検出率は僅かに低下（例：Google 翻訳で 89.9％ → 85.0％）。
  • プロンプトエンジニアリング: 「上記の記事を書き直して AI の痕跡を最小化せよ」という指示で検出率は 89.9％ から 83.0％ に低下。

技術実装：ブラウザベース推論

サーバー管理を不要にし、サーバーレスの理念に沿うため、モデルは JavaScript でクライアント側実行できるよう実装しました。TF‑IDF と SVM のロジックを JS に移植し、典型的な入力に対してほぼ瞬時に推論が可能です。完全モデルは JSON 形式で約 107 MB（gzip 圧縮で約 38 MB）ですが、特徴量を 50k‑80k に削減すると偽陽性が大きく変動したため、著者は 500k の特徴量セットを維持しています。

コミュニティの見解と反論

技術的な仲間内での議論は、AI 検出の長期的有効性と信頼性に関する根本的な論争を浮き彫りにしています。

  • 「軍拡競争」論点: ある人は、検出可能なパターンは最終的にモデル訓練者に利用され、LLM がそのパターンを消すと主張しています。あるユーザーは「安価なパターンは効果的な検出手段になるとすれば、再訓練に利用されるはずだ」と述べています。
  • 情報密度: 批評家は、テキストは永続的な出所シグナルを持つほど密度が高くないと指摘します。画像は明確なアーティファクトがあるが、単語にはそうしたものがなく、現在の検出は「今日の手がかり」を見つけているに過ぎないという意見があります。
  • 偽陽性のリスク: 学位論文など高リスク環境での偽陽性は倫理的問題をはらんでおり、「十分に良い」検出器が構造化された予測可能な文体を書いた人間を書き手として不当に罰する可能性があります。
  • 代替アプローチ: 「誰が書いたか」ではなく「どれだけの労力が投入されたか」に焦点を当てるべきだという意見もあります。テキストの価値は読者を惹きつけ、余計な情報を排除することにあり、ツールに関わらず人間の労力が必要だという主張です。

要約: 従来の機械学習モデル、特に TF‑IDF と Linear SVC を用いることで、単語選択に現れる強い統計的パターンを捉え、LLM 生成テキストを約 85％ の精度で検出できることが実証されました。

タイトル: 古典的機械学習による LLM 生成テキストの検出

Sources