worm128/AI-YinMei

解决的问题

AI-YinMei 是一个综合平台，旨在创建 AI 驱动的虚拟主播和交互式机器人。它解决了将多种 AI 模态（如 LLM、文本转语音 (TTS)、视觉和直播工具）整合到单一、有凝聚力的系统中，以实现与各平台观众实时交互的困难。

运作方式

该系统作为一个中央枢纽，汇集输入（如来自 Bilibili、TikTok 等的直播评论），并通过 AI 模型管道处理。它使用多头注意力机制进行意图和情感分析，将请求路由到兼容的 LLM（OpenAI 标准），并使用高性能流式 TTS（包括修改后的 CosyVoice2）生成响应。它可以通过 MCP 工具触发外部动作、控制 Live2D 虚拟角色，并使用 MongoDB 和 Neo4j 的组合管理长期记忆，用于知识图谱。

目标受众

• 虚拟主播 (VTubers)： 想要自动化交互、执行 AI 驱动的歌唱，并管理直播观众的人。
• AI 爱好者： 寻找“开箱即用”的 AI 桌面宠物或具有多模态能力的 QQ 机器人的用户。
• 内容创作者： 想要将 AI 生成的艺术、音乐和视频整合到直播中的人。

亮点

• 多模态整合： 在一个平台中结合 LLM、视觉、语音识别和图像生成 (Stable Diffusion)。
• 聚合弹幕： 支持多个直播平台（Bilibili、抖音、快手等）和 QQ 机器人。
• 高性能音频： 具备流式 TTS，响应时间低至 600 毫秒，并使用修改后的 CosyVoice2 以获得更好的情感表现。
• 高级记忆与逻辑： 实现 RAG 知识库、长期记忆，以及通过 Neo4j 图形数据库进行“扩散思考”。
• 广泛工具集： 包含 27+ 个内置工具，用于网页搜索、摄像头监控和计算机控制等任务。