xming521/WeClone

🚀 One-stop solution for creating your AI twin from chat history 💡 Fine-tune LLMs with your chat logs to capture your unique style, then bind to a chatbot to bring your digital self to life.

What it solves

WeClone は、実際のチャット履歴に基づいて人物のデジタルアバターを作成するエンドツーエンドのパイプラインを提供します。エクスポートしたメッセージデータで大規模言語モデル（LLM）をファインチューニングすることで、特定の人物の話し方やパーソナリティをクローンし、その人固有の「会話の味」を模倣するボットを実現します。

How it works

プロジェクトは以下の完全なワークフローを実装しています：

  1. Data Export & Preprocessing：Telegram（画像対応）からのチャット記録エクスポートをサポートし、WhatsApp、Discord、Slack への対応も構築中です。Microsoft Presidio を使用して、電話番号やメールアドレスなどの機微情報（PII）をフィルタリングし、カスタムブロックリストも設定可能です。
  2. Fine-tuning：デフォルトで Qwen2.5-VL-7B-Instruct モデルを使用し、LoRA（Low-Rank Adaptation）手法で教師ありファインチューニング（SFT）を行います。モデル学習には LLaMA Factory と統合しています。
  3. Deployment：ファインチューニングされたモデルは API サーバとしてデプロイでき、AstrBot や LangBot などのチャットボットフレームワークに組み込んで、Discord、Telegram、Slack などのプラットフォームで利用できます。

Who it’s for

  • Individuals 自分や大切な人のように話すデジタルツインやパーソナライズされた AI アシスタントを作りたい方。
  • Researchers パーソナリティ駆動の LLM ファインチューニングや、テキスト・画像のマルチモーダルチャットデータを実験したい研究者。

Highlights

  • End-to-End Pipeline：データエクスポートとクリーニングから学習、デプロイまで全工程をカバー。
  • Multimodal Support：画像データを用いたファインチューニングに対応し、コミュニケーションスタイルをより正確に捉えます。
  • Privacy-Focused：学習時に機微情報（PII）を自動フィルタリングし、データのプライバシーを保護します。
  • ** uma**
  • Flexible Deployment：OpenAI 互換 API サーバを介して、さまざまなチャットボットフレームワークやメッセージングプラットフォームと連携可能です。