morettt/my-neuro

This project lets you create your own AI desktop companion with customizable characters and voice conversations that respond in just 1 second. Features include long-term memory, visual recognition, voice cloning and LLM training. Compatible with various Live2D customizations.

What it solves

my-neuro는 인간과 같은 상호작용을 모방하는 고도로 개인화된 AI 동반자를 만들기 위한 워크벤치입니다. 단순한 채팅 인터페이스를 넘어, 성격, 음성, 시각적 표현 및 장기 기억을 통합하여 일상 생활에 녹아들 수 있는 디지털 엔티티를 만드는 것을 목표로 합니다.

How it works

이 프로젝트는 AI의 정체성을 맞춤화할 수 있는 도구 모음을 제공합니다. 로컬 LLM 추론 및 파인튜닝(LLM-studio 폴더)을 지원하며, 폐쇄형 API와의 통합도 가능합니다. 시스템은 다음과 같은 전문 컴포넌트를 통합합니다:

  • Visuals & Voice: 시각적 표현에 Live2D 모델을 사용하고, 맞춤 음성 훈련 및 TTS에 GPT-SoVITS를 활용합니다.
  • Corollary Interaction: 실시간 중단, 저지연 로컬 추론, 자막/오디오 동기화를 지원합니다.
  • Capabilities: 이미지 인식을 위한 비전 기능, 실시간 정보를 위한 웹 검색, 데스크톱 제어(MCP 도구 통합, 예: 소프트웨어 실행)를 포함합니다.
  • Memory: 사용자 선호도와 성격 특성을 기억하는 장기 기억 시스템을 구현합니다.

Who it’s for

자신만의 가상 AI 파트너 또는 VTuber 스타일 AI를 만들고자 하는 사용자와, 로컬 LLM 배포 및 캐릭터 중심 AI를 위한 파인튜닝에 관심이 있는 사람들을 위한 것입니다.

Highlights

  • Multimodal Interaction: LLM, TTS, Live2D, 비전을 결합해 일관된 AI 페르소나를 제공합니다.
  • Low Latency: 로컬 추론을 최적화해 대화 지연을 1초 이하로 유지합니다.
  • L2D Integration: 대화 내용에 따라 Live2D 모델을 교체하고 제어할 수 있습니다.
  • Extended Utility: AI 노래, Bilibili 스트리밍, 사용자와 함께 게임(Minecraft, Galgame 등) 플레이 기능을 포함합니다.
  • Local-First Option: 서드파티 API 의존 없이 로컬 LLM 추론 및 파인튜닝을 완전 지원합니다.