worm128/AI-YinMei

何を解決するか

AI-YinMeiは、AI駆動のライブストリーミングアバターとボットを作成するためのワンストッププラットフォームを提供します。LLM、音声合成（TTS）、視覚、キャラクターアニメーションといった複数のAIモダリティを統合する複雑さを解消し、Bilibili、TikTok、QQなど、さまざまなプラットフォーム上でリアルタイムに視聴者と対話できる単一のシステムを実現します。

動作方法

このシステムは、ライブストリームのコメントやチャットメッセージなどの入力を集約する中枢ハブとして機能します。AIモデルのパイプラインを通じて処理を行い、意図と感情分析にマルチヘッドアテンション機構を使用し、OpenAI互換のLLMと連携して会話を行います。低遅延の音声応答には、CosyVoice2やGPT-SoVITSなどのストリーミングTTSを採用します。VTube Studioまたは独自のデスクトップペットソフトウェアと連携して視覚的表現を実現し、Neo4jで「拡散的思考」（知識グラフの関係）を処理し、FastGPTでRAGベースの知識管理を実施します。

対象ユーザー

ライブストリーマー、コンテンツクリエイター、趣味で活動する人々で、歌い、描き、視聴者と自律的に会話できるアニメ風のAIキャラクター（VTuber）を導入したい人向けです。

特徴

• マルチプラットフォーム統合: Bilibili、TikTok、Kuaishou、Douyu、Huya、WeChat、QQからのコメントを統合。
• 低遅延: フルストリーミング会話とTTSを実装し、応答時間は最短600msを達成。
• 豊富なツールセット: SearXNGによるウェブ検索、Stable Diffusionによる画像生成、コンピュータ制御など、27種類の組み込みツールを搭載。
• 高度な記憶機能: 短期記憶（MongoDBによる永続化）と長期記憶を組み合わせ、時間関連キーワードに基づいて選択的に覚醒させる。
• マルチモーダル機能: AI歌唱（ボイスクラーニング）、画像生成、カメラ監視（視覚ベース）をサポート。