morettt/my-neuro

This project lets you create your own AI desktop companion with customizable characters and voice conversations that respond in just 1 second. Features include long-term memory, visual recognition, voice cloning and LLM training. Compatible with various Live2D customizations.

什么是 my‑neuro？

my‑neuro 是一个开源“AI 伴侣”平台，可让您创建能够说话、显示面部表情，甚至与游戏交互的个人虚拟角色。其理念是让用户输入自己的数据（语音录音、性格提示词等），然后组装出一个行为类似于人类朋友的角色——用选定的声音说话、记住过去的对话、表达情绪，并对视觉输入做出反应。

核心能力（按 README 所列）

本地、低延迟推理 – 整个技术栈在您自己的机器上运行，目标响应时间小于 1 秒。
语音转文本与文本转语音 – 音频可以是任何语言，字幕以中文显示。默认的 TTS 后端是开源项目 GPT‑SoVITS。
语音与角色定制 – 您可以在男/女声之间切换、加载不同的角色“音库”，并定义性格特征。
实时打断 – 语音和键盘输入都可以在 AI 说话时打断它。
嘴巴/面部动画 – 角色会根据对话显示不同的面部表情和身体动作。
视觉集成 – 系统可以运行图像识别模型，并根据语言意图判断何时激活视觉处理。
桌面控制 – 语音命令可以启动主机上的应用程序。
AI 生成歌唱 – 一项赞助功能，让虚拟形象能够唱歌。
游戏交互 – 实验性支持玩 Minecraft、视觉小说类游戏（galgame）和其他“你画我猜”类游戏，使用 mindcraft 机器人作为桥梁。
记忆系统 – 一个长期记忆模块（基于 MemOS）存储关于用户的关键事实，以便 AI 回忆偏好、情绪等。
计划中的扩展（仍为 TODO）：
- 模拟持续情绪状态的情绪引擎。
- 直播到 Bilibili 等平台。
- Web UI、Android 应用以及更广泛的 Live2D 虚拟形象支持。
- 在线搜索以获取最新信息。
- 更复杂的主动对话（AI 自己发起对话）。

它是如何构建的

组件	技术/来源
LLM 后端	同时支持开源微调模型（本地运行）和闭源 API（例如 OpenAI、Claude）。
TTS	GPT‑SoVITS（开源中文/多语言语音合成）。
视觉	用于任何图像识别模型的插件；README 未指定具体框架，但架构期望一个能返回文本意图的模型。
记忆	MemTensor 项目的 MemOS – 一种向量存储风格的长期记忆。
桌面自动化	Playwright‑MCP – 基于 Microsoft Playwright 的工具，通过 WebSocket 协议控制 UI。
游戏机器人	mindcraft – 可由 AI 输出驱动的 Minecraft 自动化机器人。
前端	目前是一个带字幕的桌面客户端；一个 Web UI“已完成，不久将集成”。
操作系统	为 Windows/Linux 桌面环境设计；README 提到 Android“肥牛”应用作为未来目标。

项目状态

README 声称路线图约 30% 已可运行（性格定义、记忆、基本语音输出、MCP 集成、部分游戏机器人）。
多项功能已标记为完成（低延迟本地推理、字幕同步、语音切换、MCP 支持、实时打断、表情渲染、视觉钩子、TTS 集成、桌面控制、AI 歌唱）。
许多雄心勃勃的功能仍是待办（持久情绪模型、流媒体、Web UI、Android 应用、完整长期记忆、主动对话等）。
路线图包括 6 月 1 日前完成约 60% 的目标，以及年内完成所有列出想法的目标。
项目社区规模不大（贡献者徽章、类似 Discord 的 QQ 群，以及少数资金赞助者）。

谁可能使用它？

爱好者 – 想要一个可以在本地运行、并用自己的语音录音定制的、高度可定制的 AI 虚拟形象的人。
内容创作者 – 寻找一个可以在直播中说话、唱歌和互动的虚拟“伙伴”。
开发人员 – 对实验多模态 AI（语音、视觉、记忆）并将其与桌面自动化或游戏机器人集成感兴趣的人。
研究人员 – 探索 LLM 驱动的智能体中的个人助理交互、情绪建模或长期记忆的人。

开始使用（按 README）

访问官方教程网站 – 部署说明见 http://mynewbot.com/tutorials。
克隆仓库并按照设置脚本操作（README 未详细说明，但典型步骤包括安装 Python 依赖、下载基础 LLM、配置 GPT‑SoVITS TTS 模型）。
选择一个预打包的角色（“肥牛”虚拟形象），或使用提供的工具训练自己的语音/性格。
运行桌面客户端；您可以通过麦克风或键盘交互、查看字幕，并观察虚拟形象的表情。

快速要点

my‑neuro 是一个真正、雄心勃勃的开源努力，旨在构建一个本地运行的多模态 AI 伴侣，能够说话、显示情绪、记住您，甚至玩游戏。它将多个现有的开源组件（用于语音的 GPT‑SoVITS、用于记忆的 MemOS、用于 Minecraft 的 mindcraft、用于 UI 控制的 Playwright‑MCP）拼凑在一起，并添加粘合代码，让用户定义自定义角色。虽然许多“类人”功能仍在路线图中，但核心管道（LLM → 文本 → TTS + 字幕 + 虚拟形象动画）已经可运行。如果您习惯摆弄 AI 模型，并想要一个可以在自己硬件上运行的个性化虚拟朋友，这个项目值得探索。