morettt/my-neuro

What it solves

my-neuro は、非常にパーソナライズされた AI コンパニオンを作成するためのワークベンチで、人間らしい対話を模倣します。単なるチャットインターフェースを超えて、人格、音声、ビジュアル表現、長期記憶を統合し、日常生活に溶け込むデジタルエンティティを実現することを目指しています。

How it works

このプロジェクトは、AI のアイデンティティをカスタマイズするためのツール群を提供します。ローカル LLM 推論とファインチューニング（LLM-studio フォルダー経由）をサポートし、クローズドソース API との統合も可能です。システムは以下の専門コンポーネントを組み合わせています：

• Visuals & Voice: ビジュアル表現に Live2D モデルを使用し、カスタム音声トレーニングと TTS に GPT-SoVITS を利用します。
• Corollary Interaction: リアルタイム割り込み、低遅延ローカル推論、字幕/音声の同期をサポートします。
• Capabilities: 画像認識のビジョン機能、リアルタイム情報取得のウェブ検索、デスクトップ制御（例：ソフトウェア起動）のための MCP ツール統合を含みます。
• Memory: ユーザーの好みや人格特性を記憶する長期記憶システムを実装しています。

Who it’s for

自分だけのバーチャル AI パートナーや VTuber スタイルの AI を作りたい人、またローカル LLM のデプロイやキャラクター駆動 AI のファインチューニングに関心がある人向けです。

Highlights

• Multimodal Interaction: LLM、TTS、Live2D、ビジョンを組み合わせ、統一された AI ペルソナを実現。
• Low Latency: ローカル推論を最適化し、会話遅延を 1 秒未満に保ちます。
• L2D Integration: 対話内容に応じて Live2D モデルの差し替えと制御が可能です。
• Extended Utility: AI 歌唱、Bilibili 配信、ユーザーと一緒にゲーム（例：Minecraft、ギャルゲーム）をプレイする機能を含みます。
• Local-First Option: サードパーティ API に依存せず、ローカル LLM 推論とファインチューニングをフルサポートします。