morettt/my-neuro

This project lets you create your own AI desktop companion with customizable characters and voice conversations that respond in just 1 second. Features include long-term memory, visual recognition, voice cloning and LLM training. Compatible with various Live2D customizations.

What it solves

my-neuro 是一个用于打造高度个性化 AI 伴侣的工作台，模拟类人交互。它旨在超越简单的聊天界面，通过整合人格、语音、视觉表现和长期记忆，创建可以融入日常生活的数字实体。

How it works

该项目提供一套工具，帮助自定义 AI 的身份。它支持本地 LLM 推理和微调（通过 LLM-studio 文件夹），也可以集成闭源 API。系统整合了多个专用组件：

  • Visuals & Voice: 使用 Live2D 模型进行视觉呈现，使用 GPT-SoVITS 进行定制语音训练和 TTS。
  • Corollary Interaction: 支持实时中断、低延迟本地推理以及同步字幕/音频。
  • Capabilities: 包含图像识别的视觉能力、实时信息的网络搜索，以及 MCP 工具集成用于桌面控制（例如打开软件）。
  • Memory: 实现长期记忆系统，记住用户偏好和人格特质。

Who it’s for

想要构建自己的虚拟 AI 伙伴或 VTuber 风格 AI，以及对本地 LLM 部署和角色驱动 AI 微调感兴趣的用户。

Highlights

  • Multimodal Interaction: 结合 LLM、TTS、Live2D 与视觉，形成统一的 AI 人格。
  • Low Latency: 为本地推理优化，使对话延迟保持在一秒以下。
  • L2D Integration: 支持根据对话内容替换和控制 Live2D 模型。
  • Extended Utility: 包含 AI 歌唱、Bilibili 直播，以及与用户一起玩游戏（如 Minecraft、Galgame）。
  • Local-First Option: 完全支持本地 LLM 推理和微调，避免依赖第三方 API。