morettt/my-neuro

This project lets you create your own AI desktop companion with customizable characters and voice conversations that respond in just 1 second. Features include long-term memory, visual recognition, voice cloning and LLM training. Compatible with various Live2D customizations.

my‑neuro란?

my‑neuro는 말하고, 표정을 지을 수 있으며, 게임과 상호작용할 수 있는 개인 맞춤형 가상 캐릭터를 만들 수 있는 오픈소스 'AI 컴패니언' 플랫폼입니다. 사용자가 자신의 데이터(음성 녹음, 성격 프롬프트 등)를 입력하고, 선택한 목소리로 말하고, 과거 대화를 기억하고, 감정을 표현하며, 시각적 입력에 반응하는 인간 친구처럼 행동하는 캐릭터를 조립할 수 있습니다.

핵심 기능(README에 나열됨)

로컬, 저지연 추론 – 전체 스택이 사용자 자신의 머신에서 실행되며, 1초 미만의 응답 시간을 목표로 합니다.
음성 인식 및 음성 합성 – 오디오는 모든 언어로 가능하며 자막은 중국어로 표시됩니다. 기본 TTS 백엔드는 오픈소스 GPT‑SoVITS 프로젝트입니다.
음성 및 페르소나 커스터마이징 – 남성/여성 목소리 전환, 다양한 캐릭터 '음성 폰트' 로드, 성격 특성 정의가 가능합니다.
실시간 인터럽트 – 음성 및 키보드 입력 모두 AI가 말하는 동안 중단할 수 있습니다.
입/얼굴 애니메이션 – 캐릭터는 대화에 따라 다양한 표정과 신체 동작을 표시합니다.
비전 통합 – 시스템은 이미지 인식 모델을 실행하고, 언어 의도에서 시각 처리를 언제 활성화할지 결정할 수 있습니다.
데스크톱 제어 – 음성 명령으로 호스트 컴퓨터에서 애플리케이션을 실행할 수 있습니다.
AI 생성 노래 – 아바타가 노래할 수 있는 스폰서 기능입니다.
게임 상호작용 – Minecraft, 비주얼 노벨 스타일 게임(갤게임) 및 기타 '그림 그리기 및 추측' 스타일 게임을 플레이할 수 있는 실험적 지원. 브리지로 mindcraft 봇을 사용합니다.
메모리 시스템 – 장기 메모리 모듈(MemOS 기반)이 사용자에 대한 핵심 사실을 저장하여 AI가 선호도, 기분 등을 기억할 수 있습니다.
계획된 확장(TODO):
- 지속적인 기분 상태를 시뮬레이션하는 감정 엔진.
- Bilibili와 같은 플랫폼으로의 라이브 스트리밍.
- 웹 UI, Android 앱, 더 넓은 Live2D 아바타 지원.
- 최신 정보를 위한 온라인 검색.
- 더 정교한 대화 시작(AI가 스스로 대화를 시작).

구축 방법

구성 요소	기술/소스
LLM 백엔드	오픈소스 파인튜닝 모델(로컬 실행)과 클로즈드소스 API(예: OpenAI, Claude)를 모두 지원합니다.
TTS	GPT‑SoVITS(오픈소스 중국어/다국어 음성 합성).
비전	모든 이미지 인식 모델용 플러그인. README는 특정 프레임워크를 지정하지 않지만, 아키텍처는 텍스트 의도를 반환할 수 있는 모델을 기대합니다.
메모리	MemTensor 프로젝트의 MemOS – 벡터 저장소 스타일 장기 메모리.
데스크톱 자동화	Playwright‑MCP – 웹소켓 프로토콜을 통해 UI를 제어하는 Microsoft Playwright 기반 도구.
게임 봇	mindcraft – AI의 출력으로 구동할 수 있는 Minecraft 자동화 봇.
프론트엔드	현재 자막이 있는 데스크톱 클라이언트. 웹 UI는 '이미 완료되어 곧 통합될 예정'입니다.
운영 체제	Windows/Linux 데스크톱 환경용으로 설계됨. README는 Android '비우' 앱을 향후 목표로 언급합니다.

프로젝트 상태

README는 로드맵의 약 30% 가 이미 기능한다고 주장합니다(성격 정의, 메모리, 기본 음성 출력, MCP 통합, 일부 게임 봇).
여러 항목이 완료로 표시되어 있습니다(저지연 로컬 추론, 자막 동기화, 음성 전환, MCP 지원, 실시간 인터럽트, 표정 렌더링, 비전 훅, TTS 통합, 데스크톱 제어, AI 노래).
많은 야심찬 기능은 여전히 미구현입니다(지속적인 감정 모델, 스트리밍, 웹 UI, Android 앱, 전체 장기 메모리, 자율 대화 등).
로드맵에는 6월 1일까지 약 60% 완료 목표와 연내에 나열된 모든 아이디어를 완료하려는 목표가 포함되어 있습니다.
프로젝트에는 소규모 커뮤니티가 있습니다(기여자 배지, Discord 스타일 QQ 그룹, 소수의 금전적 스폰서).

누가 사용할까?

열성 팬 – 로컬에서 실행되고 자신의 음성 녹음으로 맞춤 설정할 수 있는 고도로 사용자 정의 가능한 AI 아바타를 원하는 사람.
콘텐츠 제작자 – 라이브 스트림에서 말하고, 노래하고, 반응할 수 있는 가상 '파트너'를 찾는 사람.
개발자 – 멀티모달 AI(음성, 비전, 메모리) 실험과 데스크톱 자동화 또는 게임 봇 통합에 관심이 있는 사람.
연구자 – 개인 비서 상호작용, 감정 모델링, LLM 기반 에이전트의 장기 메모리를 탐구하는 사람.

시작하기(README에 따르면)

공식 튜토리얼 사이트 방문 – 배포 지침은 http://mynewbot.com/tutorials를 참조.
저장소를 클론하고 설정 스크립트를 따릅니다(README에 자세히 설명되지 않았지만, 일반적인 단계에는 Python 종속성 설치, 기본 LLM 다운로드, GPT‑SoVITS TTS 모델 구성이 포함됩니다).
사전 패키지된 캐릭터('비우' 아바타)를 선택하거나 제공된 도구를 사용하여 자신의 음성/성격을 훈련합니다.
데스크톱 클라이언트를 실행합니다. 마이크나 키보드로 상호작용하고, 자막을 보고, 아바타의 표정을 볼 수 있습니다.

빠른 요약

my‑neuro는 로컬에서 실행되고, 말하고, 감정을 보여주고, 당신을 기억하고, 게임을 플레이할 수 있는 멀티모달 AI 컴패니언을 구축하려는 진정하고 야심찬 오픈소스 노력입니다. 여러 기존 오픈소스 조각(음성용 GPT‑SoVITS, 메모리용 MemOS, Minecraft용 mindcraft, UI 제어용 Playwright‑MCP)을 결합하고 사용자 정의 페르소나를 정의할 수 있는 접착 코드를 추가합니다. '인간적인' 기능의 대부분은 여전히 로드맵에 있지만, 핵심 파이프라인(LLM → 텍스트 → TTS + 자막 + 아바타 애니메이션)은 이미 작동합니다. AI 모델을 실험하는 데 익숙하고 자신의 하드웨어에서 실행할 수 있는 개인 맞춤형 가상 친구를 원한다면, 이 프로젝트는 탐구할 가치가 있습니다.