Qwen3-4B Deslop: AI 작문 습관 제거 훈련

모델 개요 및 성능 지표

Qwen3-4B의 파인튜닝 버전인 qwen3-4b-deslop-v4는 일반적인 'AI 작문 습관'을 최소화하면서 높은 사실 정확성과 장르 준수를 유지합니다. 이 작은 오픈 모델은 2.5GB 다운로드로 Ollama를 사용해 로컬에서 실행할 수 있습니다. 모델은 MacBook Air에서 161개의 답변으로 훈련되었으며 작동에 시스템 프롬프트가 필요하지 않습니다.

40개의 보류된 프롬프트에서 슬롭 점수는 121(원래 모델의 평균)에서 1000단어당 12.5로 급격히 떨어졌습니다. 또한, 슬롭이 제거된 답변의 68%가 인간 작문 범위 내에서 점수를 받았습니다. 모델은 엠 대시를 성공적으로 제거하여 빈도를 1000단어당 20.5에서 0으로 줄였습니다.

스타일 개선에도 불구하고 모델은 여전히 몇 가지 한계를 가지고 있습니다. 그 목소리는 짧은 평서문으로 구성된 평평한 것으로 설명되며, 여전히 가끔 이름과 장소를 지어냅니다. 또한 요청된 단어 수를 초과하는 경향이 있습니다.

AI 슬롭 점수 정의

슬롭 점수는 AI 생성 텍스트에서 흔한 특정 스타일 습관을 식별하도록 설계된 맞춤형 감지기에서 파생된 정량적 지표입니다. 이 점수는 1000단어당 가중치가 적용된 개수입니다. 추적되는 습관에는 엠 대시 사용, "not X, but Y" 구조의 구문, 3개 목록, 즉시 답변되는 수사적 질문, "here's the thing"과 같은 신호, 강조를 위한 짧은 단편, "delve" 및 "seamless"와 같은 특정 단어가 포함됩니다.

주의 깊은 인간 작가가 쓴 단락은 일반적으로 0에 가까운 점수를 받습니다. 원래 Qwen3-4B-Instruct 모델은 평균 슬롭 점수 121을 기록했습니다.

훈련 방법론

슬롭 제거 과정은 다단계 증류와 표적 뉴런 편집 접근 방식을 활용했습니다. 처음에 초기 실험에서 부호를 뒤집으면 "not X, but Y" 습관의 70%를 최소한의 비용으로 제거할 수 있는 4개의 특정 뉴런을 식별했습니다. 이 뉴런 편집은 가장 성공적인 기술로 구축된 교사 모델과 결합되었습니다.

그런 다음 증류를 사용하여 학생 모델을 훈련했습니다. 교사 모델은 288개의 훈련 프롬프트에 답변했으며, 엄격한 검사를 통과한 답변만 유지되었습니다. 프롬프트나 훅 없이 진행된 첫 번째 훈련 라운드는 점수를 약 20으로 낮췄습니다. 2라운드는 뉴런 패치와 평문 스타일 프롬프트를 통합하여 9.5점을 달성했지만, 이 버전은 거의 모든 문장을 ", which"로 연결하는 것과 같은 새로운 습관을 도입했습니다.

이러한 새로운 스타일 회귀를 수정하기 위해 프롬프트의 요구 사항을 충족하는지 확인하는 규칙 기반 검사가 추가되었습니다(예: 의견 기사는 초기에 입장을 밝혀야 함). 최종 출시 모델(3라운드)은 12점 미만의 점수를 받고 손상 검사와 모든 작업 적합성 검사를 통과한 답변으로 훈련되었습니다. 그 결과 최종 점수는 12.5였으며, 작업 적합성은 80%로 돌아왔고 ", which" 연결 빈도는 크게 감소했습니다.

작업 적합성 및 손상 검사

모델이 기능을 유지하도록 슬롭 점수와 함께 여러 검사가 구현되었습니다.

작업 적합성 검사: 이러한 규칙 기반 검사는 출력이 프롬프트의 의도를 충족하는지 확인합니다. 예를 들어, 의견 기사는 초기에 입장을 밝혀야 하고 개인적인 성찰은 1인칭으로 작성되어야 합니다. 최종 모델은 80%의 작업 적합성을 달성했습니다.
손상 검사: 이러한 측정은 인간 산문에 대한 모델의 예측 드리프트를 모니터링합니다. 모델이 일반 지식을 유지하고 소문자 문장 시작이나 주제 상실과 같은 깨진 출력을 생성하지 않도록 보장합니다.

커뮤니티 및 전문가 논평

모델을 둘러싼 논의는 AI 작문의 본질에 관한 몇 가지 핵심 사항을 강조했습니다.

AI 스타일의 본질: 한 댓글 작성자는 모든 모델이 성향을 공유하며, 세계 문학이 소수의 모델에 의해 쓰여진다면 독자들은 같은 장식과 패턴에 곧 싫증을 느껴 "AI" 작문에 대한 일반화된 인식으로 이어질 것이라고 언급했습니다.
스타일 대 기능: 또 다른 사용자는 '슬롭' 스타일이 특정 교육 환경에서 장려되는 기업 또는 구조화된 에세이 형식을 반영하는 반면, '슬롭 제거' 버전은 더 캐주얼하고 인간이 쓴 초안과 유사하다고 관찰했습니다. 이는 다양한 사용 사례에 다양한 스타일이 적합함을 시사합니다.
슬롭 제거의 한계: 모델이 특정 틱을 성공적으로 제거했지만, 일부 사용자는 이 과정이 단순히 오래된 습관을 새롭고 덜 명백한 습관으로 대체한 것인지, 아니면 인간적 터치의 근본적인 부족이 진정으로 구별할 수 없는 작문의 장벽으로 남아 있는지 의문을 제기했습니다.

사용 및 다음 단계

출시된 모델인 qwen3-4b-deslop-v4는 Hugging Face에서 사용할 수 있습니다. 양자화된 빌드(Q4_K_M, 2.5GB)는 Ollama 또는 llama.cpp를 사용하여 로컬에서 실행할 수 있습니다. 전체 정밀도 가중치는 표준 transformers 라이브러리와 함께 사용할 수 있습니다.

제작자는 더 나은 '교사'를 만들어 모델을 더욱 개선할 계획입니다. 여기에는 공개 도메인 에세이와 편지를 포함한 고품질 인간 작문 데이터 세트를 컴파일하여 어시스턴트 훈련을 거치지 않은 기본 모델을 훈련하는 것이 포함됩니다. 이 새로운 교사 모델은 동일한 증류 파이프라인에서 사용되어 깨끗한 습관과 진정한 취향을 모두 갖춘 학생을 생성합니다.