Qwen3-4B Deslop: AIライティングの癖を訓練で取り除く

モデル概要とパフォーマンス指標

Qwen3-4Bのファインチューニング版であるqwen3-4b-deslop-v4は、一般的な「AIライティングの癖」を最小限に抑えつつ、高い事実精度とジャンルへの適合性を維持しています。この小型のオープンモデルは、Ollamaを使用してローカルで実行でき、ダウンロードサイズは2.5 GBです。モデルはMacBook Airを使用して161の回答でトレーニングされ、動作にシステムプロンプトは不要です。

40の保留プロンプトでは、スロップスコアが121（元のモデルの平均）から12.5（1000語あたり）へと劇的に低下しました。さらに、スロップ除去後の回答の68%が人間の文章の範囲内のスコアを獲得しました。モデルはemダッシュの使用を完全に排除し、その頻度は1000語あたり20.5からゼロに減少しました。

スタイルの改善にもかかわらず、モデルにはいくつかの制限が残っています。その声は平坦で、短い平叙文で構成されると表現され、時折、名前や場所を創作することもあります。また、指定された語数を超えて長くなりがちです。

AIスロップスコアの定義

スロップスコアは、AI生成テキストに共通する特定のスタイル上の習慣を識別するように設計されたカスタム検出器から導き出される定量的な指標です。このスコアは、1000語あたりの重み付きカウントです。追跡される習慣には、emダッシュの使用、「not X, but Y」という構造のフレーズ、3つのリスト、すぐに答えられる修辞的質問、「here's the thing」のような道標、強調のための短いフラグメント、「delve」や「seamless」などの特定の単語が含まれます。

注意深い人間の書き手による段落は、通常、スコアがほぼゼロになります。元のQwen3-4B-Instructモデルのスロップスコアは平均121でした。

トレーニング方法論

スロップ除去プロセスでは、多段階の蒸留と標的を絞ったニューロン編集アプローチが使用されました。最初に、以前の実験で、符号を反転させると最小限のコストで「not X, but Y」という習慣の70%を除去できる4つの特定のニューロンが特定されました。このニューロン編集は、最も成功した技術から構築された教師モデルと組み合わされました。

その後、蒸留を使用して生徒モデルがトレーニングされました。教師モデルは288のトレーニングプロンプトに回答し、厳格なチェックに合格した回答のみが保持されました。プロンプトやフックなしでの最初のトレーニングラウンドでは、スコアが約20に低下しました。ラウンド2ではニューロンパッチとプレーンなスタイルのプロンプトが組み込まれ、スコア9.5を達成しましたが、このバージョンでは、ほとんどすべての文を「, which」で接続するなどの新しい習慣が導入されました。

これらの新しいスタイルの後退を修正するために、回答がプロンプトの要件を満たしていることを確認するルールベースのチェックが追加されました（例：意見記事は早い段階で立場を示さなければならない）。最終的にリリースされたモデル（ラウンド3）は、スコアが12未満で、ダメージチェックとすべてのタスク適合チェックに合格した回答でトレーニングされました。その結果、最終スコアは12.5となり、タスク適合は80%に戻り、「, which」の接続頻度も大幅に減少しました。

タスク適合とダメージチェック

モデルが機能し続けることを保証するために、スロップスコアとともにいくつかのチェックが実装されました：

タスク適合チェック： これらのルールベースのチェックは、出力がプロンプトの意図を満たしていることを検証します。たとえば、意見記事は早い段階で立場を示さなければならず、個人的な反省は一人称で書かれなければなりません。最終モデルは80%のタスク適合を達成しました。
ダメージチェック： これらの措置は、人間の散文に対するモデルの予測ドリフトを監視します。モデルが一般的な知識を保持し、文の先頭の小文字化やトピックの喪失などの破損した出力を生成しないことを保証します。

コミュニティと専門家のコメント

モデルをめぐる議論では、AIライティングの性質に関するいくつかの重要なポイントが強調されました：

AIスタイルの性質： あるコメンテーターは、すべてのモデルには傾向があり、世界の文学がほんの数モデルによって書かれた場合、読者は同じ装飾やパターンにすぐに飽きてしまい、「AI」ライティングの一般化された認識につながると述べました。
スタイルと機能： 別のユーザーは、「スロップ」スタイルは、特定の教育環境で奨励される企業的または構造化されたエッセイ形式を反映していることが多く、「スロップ除去」されたバージョンは、よりカジュアルで人間が書いた下書きに似ていると観察しました。これは、異なるスタイルが異なるユースケースに適していることを示唆しています。
スロップ除去の限界： モデルが特定の癖をうまく除去した一方で、一部のユーザーは、このプロセスが古い習慣を新しい、あまり目立たない習慣に置き換えただけではないか、あるいは人間味の根本的な欠如が、真に区別できない文章への障壁であり続けるのではないかと疑問視しました。

使用法と次のステップ

リリースされたモデルqwen3-4b-deslop-v4は、Hugging Faceで利用可能です。量子化ビルド（Q4_K_M、2.5 GB）は、Ollamaまたはllama.cppを使用してローカルで実行できます。完全精度の重みも、標準のtransformersライブラリで使用できるように利用可能です。

作成者は、より良い「教師」を作成することでモデルをさらに改善する予定です。これには、パブリックドメインのエッセイや手紙を含む高品質な人間の文章のデータセットを編集し、アシスタントトレーニングを受けていないベースモデルをトレーニングすることが含まれます。この新しい教師モデルは、同じ蒸留パイプラインで使用され、クリーンな習慣と真のセンスの両方を備えた生徒を生成します。