헛소리 탐지기: 자동 사실 검증을 위한 에이전트 스킬

자동 주장 검증 및 점수 매기기

헛소리 탐지기는 AI 에이전트가 온라인 콘텐츠에 대해 체계적인 사실 검증을 수행할 수 있는 프레임워크를 제공합니다. 이 도구는 YouTube 동영상, 트윗, PDF와 같은 소스에서 개별 주장을 추출하고, 각 주장을 독립적인 웹 소스와 대조하여 성적표를 생성합니다. 각 주장에는 (확인됨, 그럴듯함, 오해를 일으킴, 거짓, 검증 불가) 중 하나의 판정이 부여되며, 전체 콘텐츠에는 0에서 10까지의 BS 점수가 부여됩니다.

환각을 방지하기 위해 시스템은 에이전트가 내부 모델 메모리를 기반으로 주장을 확인하거나 반박하는 것을 명시적으로 금지합니다; 모든 판정은 외부 소스에 의해 뒷받침되어야 합니다.

시스템 아키텍처: 수집 vs. 분석

이 프로젝트는 콘텐츠 수집과 추론을 엄격히 분리하여 구축되었으며, 분석 로직이 소스 형식에 구애받지 않도록 보장합니다.

콘텐츠 수집

fetch-content 스킬은 다양한 URL을 깨끗한 텍스트와 메타데이터로 변환하는 결정론적 작업을 수행하며 API 키가 필요하지 않습니다. 지원되는 소스는 다음과 같습니다:

  • YouTube 및 TikTok: yt-dlp를 사용하여 전사와 캡션을 추출합니다.
  • 기사 및 PDF: 웹 페이지에 대한 가독성 추출과 네이티브 PDF 파싱을 사용합니다.
  • 소셜 미디어: 무료 엔드포인트를 통해 트윗을 가져옵니다.
  • 대체 전사: 캡션이 없는 동영상의 경우, mlx-whisper(Apple Silicon에 최적화) 를 사용한 로컬 전사 프로토타입을 통해 오디오를 텍스트로 변환할 수 있습니다.

콘텐츠 분석

텍스트가 정규화되면, 에이전트는 분석 스킬을 적용하여 콘텐츠를 판단합니다:

  • 헛소리 탐지기: 주장별 검증 및 과대광고 신호 스캔을 수행합니다.
  • 요약: 타임스탬프가 포함된 핵심 포인트와 "시간을 투자할 가치가 있나요?" 평가를 포함한 구조화된 TL;DR을 생성합니다.
  • 설명: 출처에 언급된 복잡한 개념을 ELI5 스타일로 깊이 있게 탐구하고, 전문 용어 사전을 포함합니다.

배포 및 통합

헛소리 탐지기는 "Agent Skills"—Markdown과 독립적인 Python 스크립트의 휴대용 조합—으로 배포됩니다. 이러한 스킬은 웹 검색을 지원하는 여러 AI 에이전트 프레임워크와 호환됩니다, 포함:

  • Claude Code CLI & Desktop (Code 탭): /plugin 마켓플레이스 또는 skills.sh 설치 프로그램을 통해 완전 지원.
  • OpenAI Codex, OpenCode, Cursor, 그리고 Gemini CLI: skills.sh 설치 프로그램을 통해 지원.
  • Claude.ai (Chat) 및 ChatGPT: 웹 접근에 대한 샌드박스 제한으로 인해 붙여넣기 기반 우회 방법이나 분석 전용 스킬을 통해 제한적으로 지원.

실제 적용 사례

이 도구는 높은 트래픽과 바이럴 콘텐츠에 대해 시연되어 제작 가치와 사실 정확성 사이의 격차를 강조했습니다:

  • AI 돈벌이 영상 (조회수 1.16M): BS 점수 5/10을 받았습니다. 분석 결과 일부 트렌드는 실제였지만, 여러 주장은 오해를 일으키거나 시장 자체 PR에 기반한 것으로 나타났습니다.
  • 천문학 TikTok (조회수 552K): BS 점수 9/10을 받았습니다. 보고서는 실제 천문학 용어가 조작된 우주론을 만들기 위해 사용되었다고 결론지었습니다.

커뮤니티 관점 및 비판

자동 사실 검증 개념은 널리 호평받고 있지만, Hacker News 커뮤니티는 여러 기술적·철학적 우려를 제기했습니다:

“‘ground truth’를 무엇으로 삼나요? … 상반된 관점을 가진 두 소스를 어떻게 조정하나요?”

비평가들은 검증에 사용되는 “ground truth”와 에이전트가 서로 다른 소스의 상충 정보를 어떻게 처리하는지에 의문을 제기했습니다. 다른 사용자들은 “vibe-coded” 탐지의 효능에 회의적이며, 진정한 사실 검증은 현재 LLM이 제공할 수 있는 수준보다 더 깊은 논리적 추론을 필요로 한다고 주장했습니다. 일부 사용자는 이 도구가 브라우저 확장 프로그램이나 짧은 형식 비디오 플랫폼에 직접 통합되어 사용자가 잘못된 정보를 소비하기 전에 경고하는 형태가 더 큰 영향을 미칠 것이라고 제안했습니다.

Bullshit Detector는 YouTube 동영상, 기사, 소셜 미디어 게시물에 대한 주장별 자동 검증을 수행하고, 독립적인 소스 검증을 기반으로 0에서 10까지의 BS 점수를 부여하는 휴대용 에이전트 스킬 세트입니다.

헛소리 탐지기: 자동 사실 검증을 위한 에이전트 스킬

Sources