Bullshit Detector: 自動事実確認のためのエージェントスキル

自動主張検証とスコアリング

Bullshit Detector は、AI エージェントがオンラインコンテンツの体系的なファクトチェックを実行するためのフレームワークを提供します。このツールは、YouTube 動画、ツイート、PDF などのソースから個々の主張を抽出し、独立したウェブ情報源と照合してレポートカードを作成します。各主張には判定（Confirmed、Plausible、Misleading、False、または Unverifiable）が付与され、全体のコンテンツには BS スコア 0〜10 が付けられます。

幻覚（ハルシネーション）を防ぐために、システムはエージェントが内部モデルの記憶に基づいて主張を確認または否定することを明示的に禁止しています。すべての判定は外部情報源に裏付けられなければなりません。

システムアーキテクチャ: 取り込み vs. 分析

本プロジェクトは、コンテンツの取り込みと推論を厳密に分離して構築されており、分析ロジックがソース形式に依存しないようにしています。

コンテンツ取り込み

fetch-content スキルは、さまざまな URL をクリーンなテキストとメタデータに変換する決定的な作業を処理し、API キーを必要としません。サポートされているソースは次のとおりです：

  • YouTube と TikTok: yt-dlp を使用して文字起こしとキャプションを抽出します。
  • 記事と PDF: ウェブページの可読性抽出とネイティブ PDF パーシングを使用します。
  • ソーシャルメディア: 無料エンドポイントを介してツイートを取得します。
  • フォールバック文字起こし: キャプションがない動画に対して、mlx-whisper（Apple Silicon 向けに最適化）を使用したローカル文字起こしプロトタイプが利用可能で、音声をテキストに変換します。

コンテンツ分析

テキストが正規化されたら、エージェントは分析スキルを適用してコンテンツを評価します：

  • Bullshit Detector: 主張ごとの検証とハイプシグナルのスキャンを実行します。
  • Summarize: タイムスタンプ付きの重要ポイントと「時間の価値は？」評価を含む構造化された TL;DR を生成します。
  • Explain: ソースで言及された複雑な概念について、ELI5 形式の深掘りと用語集を提供します。

デプロイと統合

Bullshit Detector は「エージェントスキル」として配布されます—Markdown と自己完結型 Python スクリプトのポータブルな組み合わせです。これらのスキルは、ウェブ検索をサポートする複数の AI エージェントハーネスと互換性があります。対象は以下の通りです：

  • Claude Code CLI & Desktop（Code タブ）: /plugin マーケットプレイスまたは skills.sh インストーラを通じてフルサポート。
  • OpenAI Codex、OpenCode、Cursor、Gemini CLI: skills.sh インストーラでサポート。
  • Claude.ai（Chat） と ChatGPT: ウェブアクセスのサンドボックス制限により、貼り付けベースの回避策または分析専用スキルで限定的にサポート。

実世界での適用例

このツールは、トラフィックが多くバイラルなコンテンツで実演され、制作価値と事実の正確性のギャップを浮き彫りにしました：

  • AI マネー作り動画（1.16M 再生）: BS スコア 5/10 を取得。分析では、一部のトレンドは実在したものの、いくつかの主張は誤解を招くか、マーケットプレイス自身の PR に基づいていることが判明しました。
  • 天文学 TikTok（552K 再生）: BS スコア 9/10 を取得。レポートは、実際の天文学用語が使用されているものの、捏造された宇宙論を構築するために利用されたと結論付けました。

コミュニティの視点と批評

自動ファクトチェックの概念は広く称賛されているものの、Hacker News コミュニティは技術的および哲学的な懸念をいくつか提起しました：

「'グラウンドトゥルース'として何を使用していますか？…対立する見解を持つ二つの情報源はどのように調整されますか？」

批評家は、検証に使用される「グラウンドトゥルース」と、エージェントが異なる情報源からの矛盾情報をどのように処理するかを疑問視しました。他のユーザーは「バイブコード」検出の有効性に懐疑的で、真のファクトチェックには現在の LLM が提供できる以上の深い論理的推論が必要であると指摘しました。また、一部のユーザーは、このツールをブラウザ拡張機能やショートフォーム動画プラットフォームへの直接統合として提供すれば、誤情報を消費する前にユーザーに警告でき、よりインパクトがあると提案しました。

Sources