xming521/WeClone

🚀 One-stop solution for creating your AI twin from chat history 💡 Fine-tune LLMs with your chat logs to capture your unique style, then bind to a chatbot to bring your digital self to life.

What it solves

WeClone은 실제 채팅 기록을 기반으로 사람의 디지털 아바타를 만드는 엔드‑투‑엔드 파이프라인을 제공합니다. 내보낸 메시지 데이터를 사용해 대형 언어 모델(LLM)을 파인튜닝함으로써 특정 인물의 말투와 성격을 복제하고, 그 사람만의 "대화 맛"을 흉내 내는 봇을 만들 수 있습니다.

How it works

프로젝트는 완전한 워크플로우를 구현합니다:

  1. Data Export & Preprocessing: Telegram(이미지 지원)에서 채팅 기록을 내보내는 것을 지원하며, 현재 WhatsApp, Discord, Slack 지원을 구축 중입니다. Microsoft Presidio를 사용해 전화번호, 이메일 등 민감한 개인 정보를 필터링하고, 사용자 정의 차단 리스트도 적용할 수 있습니다.
  2. Fine-tuning: 기본 모델로 Qwen2.5-VL-7B-Instruct를 사용하고, LoRA(Low-Rank Adaptation) 방식을 통해 지도 학습 파인튜닝(SFT)을 수행합니다. 모델 학습은 LLaMA Factory와 통합됩니다.
  3. Deployment: 파인튜닝된 모델은 API 서버로 배포하거나 AstrBot, LangBot 같은 챗봇 프레임워크에 통합하여 Discord, Telegram, Slack 등 플랫폼에서 사용할 수 있습니다.

Who it’s for

  • Individuals 자신이나 사랑하는 사람처럼 말하는 디지털 트윈 또는 개인화 AI 어시스턴트를 만들고 싶은 사람.
  • Researchers 퍼스낼리티 기반 LLM 파인튜닝 및 멀티모달(텍스트와 이미지) 채팅 데이터를 실험하고자 하는 연구자.

Highlights

  • End-to-End Pipeline: 데이터 내보내기와 정제부터 학습 및 배포까지 모든 과정을 포괄합니다.
  • Multimodal Support: 이미지 데이터를 활용한 파인튜닝을 지원해 커뮤니케이션 스타일을 더 잘 포착합니다.
  • Privacy-Focused: 학습 중 민감한 데이터를 보호하기 위해 내장된 PII(개인 식별 정보) 필터링을 포함합니다.
  • ** uma**
  • Flexible Deployment: OpenAI 호환 API 서버를 통해 다양한 챗봇 프레임워크와 메신저 플랫폼에 쉽게 연동할 수 있습니다.