lynote-ai/humanize-text

解決する問題

このプロジェクトは、AI生成テキストをより自然で人間らしく聞こえるように書き換えるパイプラインを提供し、特にAI検出器が通常識別する統計的指紋を打ち破ることを目指しています。

仕組み

このプロジェクトは2つの異なるアプローチを提供します：

1. 構造優先データパイプライン：現在の主要な方法で、カスタム書き換えモデル用の高品質なトレーニングデータを作成することに焦点を当てています。教師あり微調整（SFT）とカーネマン・トベルスキー最適化（KTO）を使用して、表面レベルの単語を変更するだけでなく、テキストの実際の物語構造を書き換えるようにモデルを教えます。
2. 翻訳チェーン（レガシー）：マルチホップ翻訳プロセスを使用する実行可能な参照パイプラインです。LLMを使用してテキストを書き換え（中国語、次に日本語に翻訳）、その後、複数の翻訳エンジン（Google翻訳とNiutrans）を介してフィンランド語に翻訳し、英語に戻して、言語的距離と構造的破壊を最大化します。

対象読者

AI支援の下書きの読みやすさと自然なリズムを改善したい開発者やライター、またはAI検出を回避する方法を探求したい人々。

ハイライト

• 多層アプローチ：標準、アドバンスト、フォーカスの各層を提供し、再構築の深さが異なります。
• SFT + KTOトレーニング：単純な編集よりも真の構造変更を優先する、好みベースのトレーニングパイプラインを実装。
• マルチエンジン翻訳：LLMとNMTエンジンの組み合わせを使用して、単一エンジンの指紋を排除。
• 決定論的で監査可能：各ペアにSHA-256 IDと、データ構築用のバージョン管理されたYAMLポリシーを含みます。