RTGS2017/NagaAgent

What it solves

NagaAgent は「アニメスタイル」(ACG) コミュニティ向けに設計された包括的な AI アシスタントで、バーチャル Live2D アバターと高度な LLM 機能を組み合わせています。高度にインタラクティブでパーソナライズされたデスクトップコンパニオンを作成する課題を解決し、チャットだけでなくシステムタスクの実行、ナレッジグラフによる長期記憶の管理、外部ツールやコミュニティフォーラムとの統合を可能にします。

How it works

本プロジェクトは API Server、Agent Server、MCP Server、Voice Service からなるマイクロサービスアーキテクチャを採用し、中央エントリーポイントで調整します。

• Interaction: Vue 3/Electron フロントエンドと Live2D アバターを使用し、口の動きを TTS（テキスト・トゥ・スピーチ）と同期させ、マウスカーソルに追従させます。
• Intelligence: OpenAI、DeepSeek、Anthropic など複数の LLM プロバイダーに対応し、ストリーミングツール呼び出しループを実装。AI が関数（ウェブ検索やアプリ起動など）を実行し、その結果を会話にフィードバックできます。
• Memory: Graph‑RAG（GRAG）を用いて会話から「クインタプル」（subject, type, predicate, object, type）を抽出し、Neo4j グラフデータベースに保存して長期検索を実現します。
• Control: OpenClaw と統合しローカルコンピュータを制御、Model Context Protocol（MCP）で専門エージェント（天気、ビジョン、IoT 制御など）のプラグインアーキテクチャを提供します。

Who it’s for

• デスクトップに視覚的に魅力的なアニメスタイル AI コンパニオンを求めるユーザー。
• ローカルシステムを制御しウェブ閲覧もできるエージェント型 AI を求めるパワーユーザー。
• Live2D アバターと LLM、Graph‑RAG 記憶システムの統合に関心のある開発者。

Highlights

• Live2D Integration: 4 チャンネルの直交アニメーションシステムと SSAA アンチエイリアシングを備えた高忠実度バーチャルアバター。
• Graph‑RAG Memory: Neo4j を用いた 3D 可視化「Mind Sea」への事実自動抽出。
• Pluggable Tools: MCP（Model Context Protocol）とコミュニティがインストール可能なスキルをサポート。
• Multimodal Interaction: Qwen Omni によるフルデュプレックスリアルタイム音声インタラクション、ASR、画面キャプチャによるビジョンベースタスク。
• Context Compression: 10 万トークン超の長大会話を自動要約し、コンテキストオーバーフローを防止。