AkshitIreddy/Interactive-LLM-Powered-NPCs

解決する課題

このプロジェクトにより、プレイヤーは既存のオープンワールドゲーム（例：サイバーパンク2077、GTA 5、アサシン クリード）内のノンプレイヤーキャラクター（NPC）と、ゲームのソースコードを変更することなく、リアルタイムで音声駆動の会話ができるようになります。事前にスクリプト化されたNPCのダイアログの静的な性質を、顔アニメーションと同期した動的なLLM生成レスポンスに置き換えます。

仕組み

このシステムは、ゲーム画面とプレイヤーのハードウェアと対話するオーバーレイとして動作します。

1. 入力処理: マイク（音声認識）を介してプレイヤーの音声を、ウェブカメラを介してプレイヤーの感情をキャプチャします。
2. キャラクター識別: 顔認識を使用して画面上のNPCを識別します。既知の脇役の場合は特定の特性をロードし、背景NPCの場合はユニークな性格を生成します。
3. ダイアログ生成: 大規模言語モデル（LLM）が、キャラクターの性格、ベクターデータベース（RAG）に保存された世界知識、およびスタイルを維持するための象徴的なセリフを含む pre_conversation.json ファイルに基づいてレスポンスを生成します。
4. 出力生成: レスポンスは音声（TTS）に変換され、NPCの顔画像に基づく（SadTalkerを介した）顔アニメーションビデオを駆動するために使用されます。
5. 統合: システムは、ゲームビュー内のNPCの顔のピクセルを生成されたアニメーションで置き換え、NPCが自然に話している錯覚を作り出します。

対象読者

以前にリリースされたオープンワールドタイトルで、NPCとのより没入感のあるスクリプト化されていないインタラクションを求めるゲーマーとモッダー。

ハイライト

• ソースコード変更不要: ゲームエンジンを改造するのではなく、画面上のピクセルを置き換えることで動作します。
• マルチモーダル対話: 音声入力、顔認識、ウェブカメラベースの感情検出を組み合わせます。
• 動的メモリ: ベクターストアを使用して、NPCにゲーム世界の無限のメモリとキャラクター固有の知識を提供します。
• 多用途な互換性: ユーザーが世界とキャラクターのデータファイルを定義できるようにすることで、あらゆるゲームで動作するように設計されています。