worm128/AI-YinMei

解決する課題

AI-YinMeiは、AI駆動のバーチャルストリーマーとインタラクティブロボットを作成するための包括的なプラットフォームです。LLM、テキスト読み上げ (TTS)、ビジョン、ライブストリーミングツールなど、複数のAIモダリティを単一の一貫したシステムに統合し、さまざまなプラットフォームの視聴者とリアルタイムで対話することの難しさを解決します。

仕組み

このシステムは、入力（Bilibili、TikTokなどのライブストリームコメントなど）を集約し、AIモデルのパイプラインを通じて処理する中央ハブとして機能します。マルチヘッドアテンション機構を使用して意図と感情を分析し、互換性のあるLLM（OpenAI標準）にリクエストをルーティングし、高性能ストリーミングTTS（改良版CosyVoice2を含む）を使用して応答を生成します。MCPツールを介して外部アクションをトリガーし、Live2Dアバターを制御し、MongoDBとNeo4jの組み合わせを使用してナレッジグラフ用の長期メモリを管理できます。

対象ユーザー

• バーチャルストリーマー (VTuber)： インタラクションを自動化し、AI駆動の歌唱を実行し、ライブ視聴者を管理したい人。
• AI愛好家： マルチモーダル機能を備えた「すぐに使える」AIデスクトップペットやQQロボットを探しているユーザー。
• コンテンツクリエイター： AI生成のアート、音楽、ビデオをライブ放送に統合したい人。

ハイライト

• マルチモーダル統合： LLM、ビジョン、音声認識、画像生成 (Stable Diffusion) を1つのプラットフォームに統合。
• 集約された弾幕コメント： 複数のライブストリーミングプラットフォーム（Bilibili、Douyin、Kuaishouなど）とQQロボットをサポート。
• 高性能オーディオ： 応答時間が600msという低さのストリーミングTTSと、感情表現を向上させた改良版CosyVoice2を搭載。
• 高度なメモリとロジック： RAG知識ベース、長期メモリ、Neo4jグラフデータベースによる「拡散思考」を実装。
• 広範なツールセット： ウェブ検索、カメラ監視、コンピュータ制御などのタスク用の27以上の組み込みツールを含む。