BullshitBench measures whether AI models challenge nonsensical prompts instead of confidently answering them, created by Peter Gostev.

BullshitBench

BullshitBench는 대규모 언어 모델(LLM)이 무의미하거나 유효하지 않은 프롬프트를 인지하고 거부하는 능력을 평가하는 오픈소스 벤치마크입니다. 모델 행동의 세 가지 등급을 측정합니다:

명확한 거부 – 모델이 잘못된 전제를 완전히 거부합니다.
부분적 이의 제기 – 모델이 문제를 지적하지만 여전히 응답합니다.
무의미 수용 – 모델이 전제를 합법적인 것으로 취급합니다.

이 벤치마크는 소프트웨어, 금융, 법률, 의학, 물리학 등의 도메인에 걸친 13가지 "무의미 기법"을 다루는 두 가지 스위트(V1 = 55문항, V2 = 100문항)를 포함합니다. 수십 개의 상용 모델(예: Gemini 4 Argon, Claude Haiku 5.5, Mistral Large 4)의 결과는 대화형 대시보드에서 시각화됩니다.

빠른 사실

항목	세부 사항
범위	LLM 출력에서 무의미한 내용 감지 및 지적
데이터	JSON 질문 세트, 매니페스트 파일, CSV 리더보드; V1 = 55문항, V2 = 100문항
채점	3인 심사위원 패널(Claude Sonnet 4.6, GPT-5.2, Gemini 3.1 Pro). 평균이 등급을 결정합니다.
보는 방법	빌드 단계 없음; 작은 Python HTTP 서버를 실행하고 로컬 대시보드를 엽니다.
기여 방법	제공된 `config.json`/`config.v2.json` 및 기술 가이드를 통해 새 질문이나 모델 평가를 추가합니다.
라이선스	MIT(브랜드 자산에는 별도 고지가 있음)
마지막 업데이트	2026년 10월 13일

작동 방식

질문 세트 – 의도적으로 잘못된 전제나 논리적 함정을 포함한 선별된 프롬프트.
모델 실행 – 유료 공급자 API를 통해 응답 수집(리포지토리에는 스크립트 포함).
인간형 심사위원 – 세 명의 LLM 심사위원이 각 응답을 채점; 평균이 범주를 결정합니다.
지표 – 명확한 거부율 = 명확한 답변 / (시도 횟수 – 후보 거부).
대시보드 – 실험실, 추론 수준, 도메인별 필터링; 거부별 정렬; PNG/CSV 내보내기.

시작하기(로컬에서 결과 보기)

# 리포지토리 루트에서
python3 -m http.server 8795 --bind 127.0.0.1

그런 다음 브라우저에서 http://127.0.0.1:8795/를 엽니다. 뷰어 가이드(viewer/next/README.md)가 UI를 설명합니다.

자체 평가 실행

config.json(V1) 또는 config.v2.json(V2)을 편집하여 테스트할 모델과 추론 변형을 지정합니다.
docs/TECHNICAL.md의 단계별 지침에 따라 데이터 수집, API 호출 및 채점을 수행합니다.
리포지토리에는 정확한 질문 스냅샷을 고정하는 매니페스트 파일이 이미 포함되어 있어 결과를 재현할 수 있습니다.

데이터 자산

매니페스트 – 각 질문, 메타데이터, 응답/채점 파일 위치를 나열하는 JSON 파일.
리더보드 – 각 모델 변형의 점수를 요약한 CSV.
전체 응답 – 경계가 있는 JSONL 파일에 저장; 헬퍼 리더(기술 가이드에 설명)가 재조립할 수 있습니다.

모든 데이터는 MIT 라이선스로 배포됩니다.

누가 사용할까요?

LLM 개발자 – 모델이 무의미한 내용에 대해 자신 있게 환각을 일으키지 않는지 빠르게 확인하려는 경우.
연구자 – 모델 정렬, 거부 행동 또는 프롬프트 견고성을 연구하는 경우.
제품 팀 – 안전 중요 애플리케이션용 상용 API를 평가하는 경우.

링크

라이브 대시보드: https://petergpt.github.io/bullshit-benchmark/
기술 가이드: docs/TECHNICAL.md
변경 로그: CHANGELOG.md
스타 기록: README에 포함된 시각적 차트.

petergpt/bullshit-benchmark