xming521/WeClone

解决的问题

WeClone 提供一个端到端的管道，用于创建能模仿特定人物沟通风格的数字化身。它解决了将来自消息平台的原始聊天记录转换为微调后的大型语言模型（LLM）的困难，该模型能捕捉用户的独特“风格”和个性。

运作方式

此系统遵循多阶段流程：

1. 数据导出与预处理：导入聊天记录（目前支持 Telegram），并使用 Microsoft Presidio 等工具过滤敏感私人信息（电子邮件、电话号码等）。
2. 个人档案建立：可根据聊天记录自动生成用户个人档案，以更好地定义化身的角色。
3. 微调：使用 SFT（监督式微调）搭配 LoRA 或 QLoRA（通过 LLaMA Factory）等方法，在处理后的聊天数据上训练模型（默认为 Qwen2.5-VL-7B-Instruct）。它支持文本和图像模态数据。
4. 部署：微调后的模型通过 API 提供服务，可集成到 AstrBot 或 LangBot 等聊天机器人框架中，以在 Telegram、Discord 或 Slack 等平台上部署化身。

适用对象

• 希望根据真实对话记录创建自己或他人数字分身的使用者。
• 寻找从原始聊天日志到已部署 AI 角色的完整工作流程的开发者。

重点特色

• 端到端工作流程：涵盖从数据导出、隐私过滤到训练和部署的所有步骤。
• 多模态支持：可使用文本和图像数据进行微调。
• 隐私导向：内置 PII 过滤，并可选择对存储的数据集进行加密。
• 灵活部署：兼容多种机器人框架，便于集成到各种消息应用中。