morettt/my-neuro

This project lets you create your own AI desktop companion with customizable characters and voice conversations that respond in just 1 second. Features include long-term memory, visual recognition, voice cloning and LLM training. Compatible with various Live2D customizations.

my‑neuro とは？

my‑neuro は、会話、表情、さらにはゲームとの連携が可能な、パーソナルなバーチャルキャラクターを作成できるオープンソースの「AIコンパニオン」プラットフォームです。ユーザーが自身のデータ（音声録音、性格プロンプトなど）を入力し、人間のような友人のように振る舞うキャラクターを組み立てることができます。選択した声で話し、過去の会話を覚え、感情を示し、視覚入力に反応します。

コア機能（READMEに記載）

ローカル・低遅延推論 – スタック全体が自分のマシン上で動作し、サブ秒の応答時間を目指します。
音声認識と音声合成 – 音声は任意の言語に対応し、字幕は中国語で表示されます。デフォルトのTTSバックエンドはオープンソースのGPT‑SoVITSプロジェクトです。
音声・パーソナリティのカスタマイズ – 男性/女性の声の切り替え、異なるキャラクターの「音声フォント」のロード、性格特性の定義が可能です。
リアルタイム割り込み – 音声・キーボード入力の両方で、AIが話している最中に割り込むことができます。
口/顔のアニメーション – 対話に基づいて、キャラクターがさまざまな表情や身体の動きを表示します。
ビジョン統合 – 画像認識モデルを実行し、言語の意図から視覚処理をいつ有効にするかを決定できます。
デスクトップ制御 – 音声コマンドでホストコンピューター上のアプリケーションを起動できます。
AI生成歌唱 – アバターが歌うことができるスポンサー機能です。
ゲーム連携 – Minecraft、ビジュアルノベル風ゲーム（ギャルゲー）、その他の「絵しりとり」風ゲームをプレイする実験的サポート。ブリッジとしてmindcraftボットを使用します。
メモリシステム – 長期的なメモリモジュール（MemOSベース）がユーザーに関する重要な事実を保存し、AIが好みや気分などを思い出せるようにします。
計画中の拡張（TODO）:
- 持続的な気分状態をシミュレートする感情エンジン。
- Bilibiliなどのプラットフォームへのライブ配信。
- Web UI、Androidアプリ、およびより広範なLive2Dアバターサポート。
- 最新情報のオンライン検索。
- より高度な対話開始（AIが自律的に会話を開始）。

構築方法

コンポーネント	テクノロジー/ソース
LLMバックエンド	オープンソースのファインチューニングモデル（ローカル実行）とクローズドソースAPI（例：OpenAI、Claude）の両方をサポート。
TTS	GPT‑SoVITS（オープンソースの中国語/多言語音声合成）。
ビジョン	任意の画像認識モデル用プラグイン。READMEは特定のフレームワークを指定していませんが、テキストの意図を返すモデルを想定しています。
メモリ	MemTensorプロジェクトのMemOS – ベクターストア型の長期メモリ。
デスクトップ自動化	Playwright‑MCP – Microsoft Playwrightベースのツールで、WebSocketプロトコルを介してUIを制御します。
ゲームボット	mindcraft – AIの出力によって駆動できるMinecraft自動化ボット。
フロントエンド	現在は字幕付きデスクトップクライアント。Web UIは「すでに完成しており、近日統合予定」です。
オペレーティングシステム	Windows/Linuxデスクトップ環境向け。READMEではAndroidアプリ「肥牛」が将来のターゲットとして言及されています。

プロジェクトの状況

READMEは、ロードマップの約**30％**がすでに機能していると主張しています（性格定義、メモリ、基本的な音声出力、MCP統合、一部のゲームボット）。
いくつかの項目は完了とマークされています（低遅延ローカル推論、字幕同期、音声切り替え、MCPサポート、リアルタイム割り込み、表情レンダリング、ビジョンフック、TTS統合、デスクトップ制御、AI歌唱）。
多くの野心的な機能はまだ未実装です（持続的な感情モデル、ストリーミング、Web UI、Androidアプリ、完全な長期メモリ、自律対話など）。
ロードマップには、6月1日までに約60％ の完了目標と、年内にリストされたすべてのアイデアを完了する目標が含まれています。
プロジェクトには小規模なコミュニティがあります（貢献者バッジ、Discord風QQグループ、少数の金銭的スポンサー）。

誰が使うのか？

愛好家 – ローカルで実行され、自分の音声録音でカスタマイズできる、高度にカスタマイズ可能なAIアバターを望む人。
コンテンツクリエイター – ライブ配信で話したり歌ったり反応したりできるバーチャルな「パートナー」を探している人。
開発者 – マルチモーダルAI（音声、ビジョン、メモリ）の実験と、デスクトップ自動化やゲームボットとの統合に興味がある人。
研究者 – パーソナルアシスタントのインタラクション、感情モデリング、LLM駆動エージェントの長期メモリを調査している人。

始めるには（READMEによると）

公式チュートリアルサイトを訪問 – デプロイ手順は http://mynewbot.com/tutorials を参照。
リポジトリをクローンし、セットアップスクリプトに従います（READMEには詳細がありませんが、一般的な手順にはPython依存関係のインストール、ベースLLMのダウンロード、GPT‑SoVITS TTSモデルの設定が含まれます）。
プリパッケージされたキャラクター（「肥牛」アバター）を選択するか、提供されたツールを使用して自分の声/性格をトレーニングします。
デスクトップクライアントを実行します。マイクまたはキーボードで対話し、字幕を見て、アバターの表情を確認できます。

クイックまとめ

my‑neuro は、ローカルで実行され、話したり、感情を示したり、あなたを覚えたり、ゲームをプレイしたりできるマルチモーダルAIコンパニオンを構築するための、本格的で野心的なオープンソースの取り組みです。既存のオープンソースコンポーネント（音声用GPT‑SoVITS、メモリ用MemOS、Minecraft用mindcraft、UI制御用Playwright‑MCP）を組み合わせ、ユーザーがカスタムペルソナを定義できるようにするグルーコードを追加しています。「人間らしい」機能の多くはロードマップにありますが、コアパイプライン（LLM → テキスト → TTS + 字幕 + アバターアニメーション）はすでに機能しています。AIモデルのいじくり回しに慣れており、自分のハードウェアで実行できるパーソナライズ可能な仮想の友達が欲しいなら、このプロジェクトは探求する価値があります。