worm128/AI-YinMei

解決的問題

AI-YinMei 提供一個整合式平台，用於建立由 AI 驅動的直播虛擬形象與機器人。它解決了將多種 AI 模態（如 LLM、文字轉語音 TTS、視覺、角色動畫）整合至單一系統的複雜性，使該系統能即時與 Bilibili、TikTok、QQ 等多個平台的觀眾互動。

工作原理

該系統作為中央樞紐，聚合輸入（如直播評論或聊天訊息），並透過 AI 模型流程進行處理。它使用多頭注意力機制進行意圖與情緒分析，連接 OpenAI 相容的 LLM 以實現對話，並採用串流式 TTS（如 CosyVoice2 或 GPT-SoVITS）實現低延遲語音回應。系統與 VTube Studio 或其自研桌面寵物軟體整合以實現視覺呈現，並使用 Neo4j 實現「擴散式思考」（知識圖譜關係），使用 FastGPT 實現基於 RAG 的知識管理。

適用對象

專為希望部署一個可自主唱歌、繪畫、與觀眾互動的動漫風格 AI 人設（VTuber）的主播、內容創作者與愛好者設計。

核心亮點

• 多平台整合：聚合 Bilibili、TikTok、快手、斗魚、虎牙、微信、QQ 等平台的評論。
• 低延遲：支援全串流對話與 TTS，回應時間低至 600ms。
• 豐富工具集：內建 27 個工具，涵蓋網頁搜尋（透過 SearXNG）、圖像生成（Stable Diffusion）、電腦控制等任務。
• 高階記憶機制：結合短期 MongoDB 持久化與長期記憶，根據時間相關關鍵字選擇性喚醒。
• 多模態能力：支援 AI 唱歌（語音克隆）、圖像生成、基於視覺的攝影機監控。