xming521/WeClone

解決する課題

WeCloneは、特定の人物のコミュニケーションスタイルを模倣するデジタルアバターを作成するためのエンドツーエンドのパイプラインを提供します。メッセージングプラットフォームからの生のチャット履歴を、ユーザーの独自の「フレーバー」と個性を捉えたファインチューニング済みの大規模言語モデル（LLM）に変換する難しさを解決します。

仕組み

このシステムは多段階のプロセスに従います：

1. データエクスポートと前処理：チャット記録（現在はTelegramをサポート）をインポートし、Microsoft Presidioなどのツールを使用して機密の個人情報（メールアドレス、電話番号など）をフィルタリングします。
2. プロファイル構築：チャット履歴に基づいてユーザープロファイルを自動生成し、アバターのペルソナをより適切に定義できます。
3. ファインチューニング：SFT（教師ありファインチューニング）をLoRAやQLoRA（LLaMA Factory経由）などの手法で使用し、処理済みのチャットデータでモデル（デフォルトはQwen2.5-VL-7B-Instruct）をトレーニングします。テキストと画像の両方のモーダルデータをサポートします。
4. デプロイメント：ファインチューニングされたモデルはAPIを介して提供され、AstrBotやLangBotなどのチャットボットフレームワークに統合して、Telegram、Discord、Slackなどのプラットフォームにアバターを展開できます。

対象ユーザー

• 実際の会話履歴に基づいて、自分自身や他の人のデジタルツインを作成したい個人。
• 生のチャットログからデプロイされたAIペルソナまでの完全なワークフローを求める開発者。

ハイライト

• エンドツーエンドのワークフロー：データエクスポートとプライバシーフィルタリングからトレーニングとデプロイメントまでをカバーします。
• マルチモーダルサポート：テキストと画像の両方のデータを使用してファインチューニングできます。
• プライバシー重視：組み込みのPIIフィルタリングと、保存データセットのオプションの暗号化を備えています。
• 柔軟なデプロイメント：複数のボットフレームワークと互換性があり、さまざまなメッセージングアプリへの簡単な統合が可能です。