胡說偵測器：自動事實核查的代理技能

自動聲明驗證與評分

胡說偵測器提供一個框架，讓 AI 代理能系統性地對線上內容進行事實核查。工具會從來源（例如 YouTube 影片、推文或 PDF）中抽取個別聲明，並對照獨立的網路來源進行驗證，產出報告卡。每項聲明會被賦予判定（確認、合理、具誤導性、錯誤或無法驗證），整體內容則會得到 BS 分數從 0 到 10。

為防止幻覺，系統明確禁止代理僅依靠內部模型記憶來確認或駁斥聲明；所有判定必須以外部來源為依據。

系統架構：攝取 vs. 分析

此專案在內容攝取與推理之間採取嚴格分離，確保分析邏輯不受來源格式影響。

內容攝取

fetch-content 技能負責將各種 URL 轉換為乾淨的文字與中繼資料，且不需要 API 金鑰。支援的來源包括：

  • YouTube 與 TikTok： 使用 yt-dlp 抽取文字稿與字幕。
  • 文章與 PDF： 針對網頁使用可讀性抽取，對 PDF 使用原生解析。
  • 社群媒體： 透過免費端點取得推文。
  • 備援轉錄： 若影片無字幕，提供使用 mlx-whisper（為 Apple Silicon 優化）的本地轉錄原型，將音訊轉為文字。

內容分析

文字正規化後，代理會套用分析技能來評估內容：

  • Bullshit Detector： 逐條執行聲明驗證與噱頭訊號掃描。
  • Summarize： 產生結構化 TL;DR，包含時間戳記的重點與「值得花時間嗎？」的評估。
  • Explain： 以 ELI5 風格深入說明來源中提及的複雜概念，並提供術語詞彙表。

部署與整合

胡說偵測器以「Agent Skills」的形式發佈——可攜式的 Markdown 結合自包含的 Python 腳本。這些技能相容於多種支援網路搜尋的 AI 代理平台，包括：

  • Claude Code CLI & Desktop（Code 分頁）： 透過 /plugin 市集或 skills.sh 安裝程式完整支援。
  • OpenAI Codex、OpenCode、Cursor 與 Gemini CLI： 透過 skills.sh 安裝程式支援。
  • Claude.ai（Chat）與 ChatGPT： 受限於沙盒的網路存取，僅能以貼上方式或僅分析的技能使用。

實際應用案例

此工具已在高流量、病毒式傳播的內容上示範，以凸顯製作品質與事實正確性之間的落差：

  • AI 賺錢影片（1.16M 觀看次數）： 獲得 BS 分數 5/10。分析發現雖有部分趨勢屬實，卻有多項聲明具誤導性或來自市場自身的公關。
  • 天文 TikTok（552K 觀看次數）： 獲得 BS 分數 9/10。報告結論指出，使用真實的天文詞彙來構築一個捏造的宇宙觀。

社群觀點與批評

雖然自動事實核查的概念受到廣泛讚賞，Hacker News 社群卻提出多項技術與哲學層面的疑慮：

"你以什麼作為『真實基準』？…當兩個立場相反的來源出現時，如何調和？"

批評者質疑驗證所依賴的「真實基準」以及代理在面對不同來源衝突時的處理方式。其他使用者對「氛圍編碼」偵測的效能持懷疑態度，認為真正的事實核查需要比目前 LLM 所能提供的更深層邏輯推理。亦有使用者建議，將此工具作為瀏覽器擴充功能或直接整合至短影片平台，於使用者觀看前即警示可能的錯誤資訊，將更具衝擊力。

Sources