morettt/my-neuro
This project lets you create your own AI desktop companion with customizable characters and voice conversations that respond in just 1 second. Features include long-term memory, visual recognition, voice cloning and LLM training. Compatible with various Live2D customizations.
What it solves
my-neuro 是一個用於創建高度個人化 AI 伴侶的工作台,模擬類人互動。它旨在超越簡單的聊天介面,透過整合個性、語音、視覺呈現與長期記憶,打造可融入日常生活的數位實體。
How it works
此專案提供一套工具,讓使用者自訂 AI 身分。它支援本地 LLM 推論與微調(透過 LLM-studio 資料夾),亦可整合封閉源 API。系統結合多個專門元件:
- Visuals & Voice: 使用 Live2D 模型作為視覺呈現,並以 GPT-SoVITS 進行客製化語音訓練與 TTS。
- Corollary Interaction: 支援即時中斷、低延遲本地推論,以及同步字幕/音訊。
- Capabilities: 包含影像辨識的視覺功能、即時資訊的網路搜尋,以及 MCP 工具整合以控制桌面(例如開啟軟體)。
- Memory: 實作長期記憶系統,記住使用者偏好與人格特質。
Who it’s for
想要打造自己的虛擬 AI 夥伴或 VTuber 風格 AI,亦或對本地 LLM 部署與角色驅動 AI 的微調感興趣的使用者。
Highlights
- Multimodal Interaction: 結合 LLM、TTS、Live2D 與視覺,形成一致的 AI 人格。
- Low Latency: 為本地推論做最佳化,使對話延遲維持在一秒以下。
- L2D Integration: 可依對話內容替換與控制 Live2D 模型。
- Extended Utility: 包含 AI 唱歌、Bilibili 串流,以及與使用者一起玩遊戲(如 Minecraft、Galgame)。
- Local-First Option: 完全支援本地 LLM 推論與微調,避免依賴第三方 API。