PEPETII/danmuai

何を解決するか

DanmuAIは、コンピュータ画面のための「AI観客」を作成します。静的なコンテンツ（ライブ配信、ゲーム、または録画など）に対し、画面上で起きていることに反応するリアルタイムのAI生成「弾幕（danmu）」を追加することで、視聴体験をよりインタラクティブで活気あるものにし、静的なコンテンツの問題を解決します。

仕組み

このアプリケーションは、リアクションを生成するために特定のパイプラインに従います：

1. Screen Capture: 指定されたモニターのスクリーンショットを一定の間隔で取得します。
2. Visual Analysis: これらの画像はメモリ内で圧縮され、現在のコンテンツを理解するためにビジョン機能を持つAIモデルに送信されます。
3. Comment Generation: AIは画面のコンテンツと、設定可能な「persona（パーソナリティ）」に基づいてコメントを生成します。
4. Display: コメントは、画面上の透明な、常に最前面に表示されるオーバーレイに表示されます。
5. Audio: オプションのText-to-Speech (TTS) が、さまざまなプロバイダーを使用してコメントを音声に変換します。

対象ユーザー

• 配信者やコンテンツクリエイターで、放送に自動化されたAI実況者が必要な方。
• ゲーム中に反応してくれるAIコンパニオンを求めるゲーマー。
• デスクトップ上のあらゆるアクティビティに、ダイナミックでソーシャルメディアのようなコメント層を追加したいユーザー。

ハイライト

• Customizable Personas: AIの性格、モデルプラットフォーム、およびトーンを好みに合わせて設定できます。
• Transparent Overlay: Webコンソールを開く必要なく、他のウィンドウの上に重なって表示される専用のスクロールコメント層。
• Multi-Monitor Support: 1つのモニターからスクリーンショットをキャプチャし、コメントを別のモニターに表示する機能。
• TTS Integration: 音声キャッシュとプレビューを備えた、複数のAI音声プロバイダー（例：MiMo, Qwen3, MiniMax, Doubao V3）をサポート。
• Optional Extensions: マイク入力、Live2D仮想アバター、およびナレッジベースのサポートを含みます。