Qwen3-4B Deslop：训练消除AI写作腔

模型概述与性能指标

作为Qwen3-4B的微调版本，发布的qwen3-4b-deslop-v4成功地将常见的“AI写作腔”降至最低，同时保持了较高的事实准确性和体裁遵循度。这个小型开源模型可以通过Ollama在本地运行，下载大小仅2.5 GB。该模型使用MacBook Air在161个答案上进行了训练，运行时无需系统提示词。

在40个保留提示词上，slop分数从121（原始模型的平均值）大幅下降至每1000词12.5分。此外，68%的去slop答案得分落在人类写作的范围内。该模型成功消除了破折号，将其频率从每1000词20.5次降至零。

尽管风格上有所改进，该模型仍存在一些局限性。其声音被描述为平淡，由简短的陈述句组成，并且偶尔仍会编造名字和地点。它还倾向于篇幅过长，经常超出要求的字数。

定义AI Slop分数

Slop分数是一个定量指标，源自一个自定义检测器，旨在识别AI生成文本中常见的特定风格习惯。该分数是每1000词的加权计数。追踪的习惯包括：使用破折号、“不是X，而是Y”结构的短语、三连列表、立即回答的修辞性提问、“事情是这样的”之类的路标词、用于强调的短片段，以及“delve”和“seamless”等特定词汇。

一位细心的人类作者写出的段落通常得分接近零。原始的Qwen3-4B-Instruct模型平均slop分数为121。

训练方法

去slop过程采用了多阶段蒸馏和定向神经元编辑的方法。最初，一个早期实验确定了四个特定神经元，其符号翻转可以以最小代价去除70%的“不是X，而是Y”习惯。这种神经元编辑与一个基于最成功技术构建的教师模型相结合。

随后使用蒸馏来训练学生模型。教师模型回答了288个训练提示词，只有通过严格检查的答案被保留。第一轮训练（无提示词或钩子）将分数降至约20。第二轮结合了神经元补丁和朴素风格提示词，达到了9.5分，尽管这个版本引入了新的习惯，例如几乎每个句子都用“，which”连接。

为了纠正这些新的风格退化，添加了基于规则的检查，以确保答案满足提示词的要求（例如，观点文章必须尽早陈述立场）。最终发布的模型（第三轮）是在得分低于12、通过损伤检查以及所有任务适配检查的答案上训练的。这导致了最终的12.5分，而任务适配率恢复到80%，“，which”连接的频率显著下降。

任务适配与损伤检查

为了确保模型保持功能性，除了slop分数外，还实施了多项检查：

• 任务适配检查： 这些基于规则的检查验证输出是否符合提示词的意图。例如，观点文章必须尽早陈述立场，个人反思必须以第一人称撰写。最终模型达到了80%的任务适配率。
• 损伤检查： 这些措施监控模型在人类散文上的预测漂移。它们确保模型保留其一般知识，并且不会产生破碎的输出，例如小写句子开头或主题丢失。

社区与专家评论

围绕该模型的讨论突出了关于AI写作本质的几个关键点：

• AI风格的本质： 一位评论者指出，所有模型都有共同的倾向，如果世界文学仅由少数几个模型创作，读者很快就会厌倦相同的修饰和模式，导致对“AI”写作的普遍认知。
• 风格与功能： 另一位用户观察到，“slop”风格往往反映了某些教育环境中鼓励的公司或结构化论文格式，而去slop版本则更类似于随意的、人类撰写的草稿。这表明不同的风格适用于不同的使用场景。
• 去slop的局限性： 虽然该模型成功移除了特定的习惯，一些用户质疑这个过程是否只是用新的、不太明显的习惯取代了旧习惯，或者缺乏人类触感是否仍然是实现真正难以区分的写作的障碍。

使用与后续步骤

发布的模型qwen3-4b-deslop-v4可在Hugging Face上获取。量化版本（Q4_K_M，2.5 GB）可以使用Ollama或llama.cpp在本地运行。全精度权重也可用于标准transformers库。

创建者计划通过创建更好的“教师”模型来进一步改进模型。这涉及编译一个高质量人类写作的数据集，包括公共领域的散文和信件，以训练一个从未经过助手训练的基座模型。然后，这个新的教师模型将用于相同的蒸馏流程，以产生一个既具有干净习惯又具有真正品位的“学生”模型。