xming521/WeClone

해결하는 문제

WeClone은 특정 사람의 커뮤니케이션 스타일을 모방하는 디지털 아바타를 만들기 위한 엔드투엔드 파이프라인을 제공합니다. 메시징 플랫폼의 원시 채팅 기록을 사용자의 고유한 '맛'과 개성을 포착하는 파인튜닝된 대규모 언어 모델(LLM)로 변환하는 어려움을 해결합니다.

작동 방식

이 시스템은 다단계 프로세스를 따릅니다:

1. 데이터 내보내기 및 전처리: 채팅 기록(현재 Telegram 지원)을 가져오고 Microsoft Presidio와 같은 도구를 사용하여 민감한 개인 정보(이메일, 전화번호 등)를 필터링합니다.
2. 프로필 구축: 채팅 기록을 기반으로 사용자 프로필을 자동 생성하여 아바타의 페르소나를 더 잘 정의할 수 있습니다.
3. 파인튜닝: LoRA 또는 QLoRA(LLaMA Factory를 통해)와 같은 방법으로 SFT(지도 파인튜닝)를 사용하여 처리된 채팅 데이터로 모델(기본값: Qwen2.5-VL-7B-Instruct)을 훈련합니다. 텍스트와 이미지 모달 데이터를 모두 지원합니다.
4. 배포: 파인튜닝된 모델은 API를 통해 제공되며, AstrBot 또는 LangBot과 같은 챗봇 프레임워크에 통합하여 Telegram, Discord 또는 Slack과 같은 플랫폼에 아바타를 배포할 수 있습니다.

대상 사용자

• 실제 대화 기록을 기반으로 자신이나 다른 사람의 디지털 트윈을 만들고자 하는 개인.
• 원시 채팅 로그에서 배포된 AI 페르소나까지의 완전한 워크플로우를 찾는 개발자.

주요 특징

• 엔드투엔드 워크플로우: 데이터 내보내기 및 개인정보 필터링부터 훈련 및 배포까지 모든 것을 다룹니다.
• 멀티모달 지원: 텍스트와 이미지 데이터를 모두 사용하여 파인튜닝할 수 있습니다.
• 개인정보 중심: 내장된 PII 필터링과 저장된 데이터셋에 대한 선택적 암호화를 포함합니다.
• 유연한 배포: 여러 봇 프레임워크와 호환되어 다양한 메시징 앱에 쉽게 통합할 수 있습니다.