lynote-ai/ai-text-detector

解決する課題

ほとんどのAIテキスト検出器は過信、不透明、またはコーディングエージェントへの組み込みが困難です。このプロジェクトは、ネットワーク不要の軽量CLI/Pythonアナライザーを提供し、テキストがAI生成である可能性を推定し、証拠が弱い場合には明確に警告します。また、本番グレードの2レベルモデルパイプライン（重みではなく）を同梱し、文書全体と個々の文を人間、AI、混合としてラベル付けします。

仕組み

ローカルアナライザーは、隠れたモデルではなく、重み付けされた説明可能なシグナルを使用します。0から100のスコア、判定（例：insufficient_text、low_ai_likelihood、mixed_or_uncertain、high_ai_likelihood）、信頼レベル、最も強い証拠シグナル、および注意事項を返します。短いテキストのガードレールは、約80語未満のサンプルに対して結論を過大評価することを拒否します。

detection-model-pipeline/内の本番モデルは、トレーニング済みの2レベルニューラルネットワークです。文書ヘッドと文ヘッドは多言語バックボーン（XLM-R-largeまたはModernBERT-base）を共有します。1回のフォワードパスで文書と各文をラベル付けします。温度スケーリングにより確率が較正され、モデルが過信にならないようにします。パイプラインは、データ準備、トレーニング、較正、評価、およびFastAPIによるサービングをカバーします。

対象ユーザー

このツールは、コーディングエージェント（例：Codex、Claude Code）や、最終判断ではなく迅速なトリアージを必要とするローカルワークフローを対象としています。ユースケースには、教師による学生の作文のレビュー、編集者による定型文の投稿の特定、長文コンテンツの信頼と安全のキューイング、内部コンテンツQAが含まれます。懲戒処分、著者証明、または既知の書き方サンプルと比較せずに高リスクの紛争を判断することを意図していません。

ハイライト

• ブラックボックスの信頼ではなく、説明可能な重み付けシグナル
• ローカルCLIとPython API、ネットワーク不要
• 弱い証拠を過大評価しない短いテキストのガードレール
• リポジトリ認識エージェント向けのスキル対応パッケージ（SKILL.md、AGENTS.md）
• 公開HC3データセットでmaketargetsを使用した再現可能な評価
• 多言語バックボーンを備えた本番2レベルモデルパイプライン（トレーニング、較正、サービング）
• 設計上保守的：結果は人間によるレビューのためのリスク推定であり、証明ではありません