클래식 머신러닝으로 LLM‑생성 텍스트 감지

클래식 머신러닝으로 LLM 생성 텍스트 감지

클래식 ML은 AI와 인간 텍스트를 효과적으로 구분할 수 있습니다

주류 대형 언어 모델(LLM)에서 생성된 텍스트는 강력한 통계적 패턴을 가지고 있어 전통적인 머신러닝을 통해 인간이 쓴 콘텐츠와 구별할 수 있습니다. TF‑IDF(단어 빈도‑역문서 빈도)와 Linear Support Vector Classification(SVC)을 결합한 프로젝트는 AI‑생성 문장을 감지하는 데 약 85% 정확도를 달성했으며, 이는 "클래식" ML이 감지를 위해 또 다른 LLM을 사용하는 것보다 종종 더 효과적이고 계산 비용도 적게 든다는 것을 보여줍니다.

방법론: TF‑IDF와 Linear SVC

텍스트 퍼플렉시티에 의존하는 대신—이는 종종 높은 추론 비용과 모델 간 일반화가 좋지 않은 결과를 초래합니다—이 접근법은 scikit‑learn의 표준 분류 파이프라인을 사용합니다.

데이터 생성

분류기를 학습시키기 위해 다음과 같이 균형 잡힌 데이터셋을 만들었습니다:

  • 인간이 작성한 샘플: 2010년부터 2022년(ChatGPT 이전)까지 공개된 약 10,000개의 수천 문자 길이 텍스트.
  • AI‑생성 샘플: 동일한 인간 텍스트를 LLM으로 요약한 뒤, 그 요약을 다시 전체 기사로 재생성했습니다. 이를 통해 AI 콘텐츠가 원본 인간 콘텐츠와 장르·주제 면에서 밀접하게 일치하도록 했습니다.

다양성을 확보하기 위해 AI 학습 데이터를 생성할 때 다음 일곱 모델을 사용했습니다: gemini-3-pro, qwen-coder-plus, glm-5, glm-4.7, kimi-k2.5, doubao-seed-code, deepseek-v3.2.

학습 및 아키텍처

시스템은 일곱 개의 별도 이진 분류기에서 다수결 투표 방식을 사용합니다. 일곱 모델 중 최소 두 개가 AI‑생성으로 판단하면 해당 문장은 AI‑생성으로 표시됩니다.

성능 지표:

  • 문장 수준 정확도: 대부분의 모델에서 약 85%.
  • F1 점수: 모든 이진 분류기에서 80% 이상.
  • 특징 집합: 최종 웹‑데모 버전은 정확도를 유지하면서 브라우저 기반 추론을 최적화하기 위해 500,000개의 특징을 사용합니다.

성능 및 일반화

감지율

학습에 사용된 모델과 보지 못한 모델 모두에서 높은 견고성을 보였습니다:

  • 알려진 모델: Deepseek V3.2와 Doubao Seed Code는 각각 78.4%와 93.0%의 감지율을 기록했습니다.
  • 보지 못한 모델: Claude Sonnet 4.6과 GPT 5.2는 각각 71.9%와 73.3%의 감지율을 보였습니다.
  • 인간 기준: 2022년 이전 웹소설 및 팬픽은 일관되게 AI 감지율이 30% 이하였으며, 70% 임계값 사용 시 거짓 양성 비율은 0.01% 미만이었습니다.

감지 회피 시도

일반적인 "안티‑AI" 기법을 사용해 분류기를 회피하려는 시도는 거의 성공하지 못했습니다:

  • 번역 라운드트립: 텍스트를 중국어→영어→중국어로 번역했을 때 감지율이 약간만 감소했습니다(예: Google Translate 사용 시 89.9% → 85.0%).
  • 프롬프트 엔지니어링: "위 기사를 AI 색을 최소화하도록 다시 쓰기"와 같은 프롬프트를 사용하면 감지율이 89.9%에서 83.0%로 감소했습니다.

기술 구현: 브라우저 기반 추론

서버 유지 보수를 피하고 서버리스 철학을 따르기 위해 모델을 JavaScript로 구현하여 클라이언트 측에서 실행하도록 했습니다. TF‑IDF와 SVM 로직을 JS로 포팅함으로써 일반적인 입력에 대해 거의 즉시 추론이 가능합니다. 전체 모델은 JSON 형식으로 약 107 MB(압축 시 약 38 MB)이며, 특징 수를 50k‑80k로 줄이면 거짓 양성 비율이 크게 변동해 저자는 500k 특징 집합을 유지했습니다.

커뮤니티 관점 및 반론

기술 동료들 사이의 논의는 AI 감지의 지속 가능성과 신뢰성에 대한 근본적인 논쟁을 강조합니다:

  • "무기 경쟁" 주장: 일부는 감지 가능한 패턴이 결국 모델 트레이너에 의해 활용되어 LLM을 개선하고 이러한 패턴이 사라질 것이라고 주장합니다. 한 사용자는 "어떤 저렴한 패턴도 효과적인 AI 감지 수단이 되면 재학습에 사용될 가능성이 있다"고 언급했습니다.
  • 정보 밀도: 비평가들은 텍스트가 영구적인 출처 신호를 담기에 너무 희박하다고 지적합니다. 한 댓글러는 이미지가 명확한 아티팩트를 가지고 있는 반면, 단어는 그렇지 않으며 현재 감지는 "오늘날의 신호"를 식별하는 것일 뿐 근본적인 차이를 포착하는 것이 아니라고 주장했습니다.
  • 거짓 양성 위험: 학위 논문과 같은 고위험 환경에서 거짓 양성의 윤리적 함의에 대한 우려가 큽니다. "충분히 좋은" 감지기가 구조적이고 예측 가능한 스타일을 쓰는 인간 작가에게 부당한 불이익을 줄 수 있다는 점이 지적됩니다.
  • 대안 접근법: 일부는 "누가 썼는가"보다 "얼마나 많은 노력"이 들어갔는가에 초점을 맞추자고 제안합니다. 텍스트의 가치는 독자를 끌어들이고 불필요한 정보를 제거하는 데 있으며, 이는 사용된 도구와 관계없이 여전히 인간의 노력이 필요하다는 주장입니다.

요약: 전통적인 머신러닝 모델, 특히 TF‑IDF와 Linear SVC를 활용한 기술 프로젝트는 단어 선택의 강력한 통계적 패턴을 식별함으로써 LLM‑생성 텍스트를 약 85% 정확도로 감지할 수 있음을 보여줍니다.

제목: 클래식 머신러닝으로 LLM‑생성 텍스트 감지

Sources