RachelForster/Shinsekai

何を解決するか

Shinsekaiは、Galgame、オトメ、ストーリー中心のRPG向けに設計されたデスクトップアシスタントです。分散したワークフローの問題を解決するために、LLM駆動の会話、感情同期付きのキャラクター画像（スプライト）、テキスト読み上げ（TTS）、音声認識（ASR）を一つの統合された体験に統合しています。

動作方法

システムは主に2つのインターフェースに機能を分割しています：API、キャラクター、プラグインの管理に使用するReactベースの設定センターと、実際のパフォーマンスに使用する専用のチャットウィンドウです。さまざまなLLMプロバイダーにAPI経由で接続でき、GPT-SoVITSやGenie TTSなどの複数のTTSエンジンをサポートし、ComfyUI経由で画像生成も統合可能です。プラグインSDKとModel Context Protocol（MCP）を使用して、外部ツールやサービスとの連携を拡張できます。

対象ユーザー

視覚小説やストーリー中心のゲームのクリエイターおよびプレイヤーで、同期されたビジュアルとオーディオを備えたインマーシブなAI駆動のキャラクターインタラクションを実現したい方を対象としています。

主な特徴

• 統合されたパフォーマンスパイプライン：チャットテンプレート、セッション履歴、感情に基づくスプライト切り替え、音声合成を一つのワークフローに統合。
• 拡張性のあるアーキテクチャ：プラグインSDKとMCPサポートにより、新しいLLM、TTS、ASR、T2Iアダプタ、または外部ツールを追加可能。
• 感情連携：AIの会話に含まれる感情タグに基づき、自動でキャラクターのスプライトを切り替えます。
• 長期記憶：異なるセッション間でキャラクター固有の記憶を管理・取得し、物語の整合性を維持。
• カスタマイズ可能なビジュアル：チャットスキン、フォント、ステージスタイルを編集可能な組み込みテーママネージャーを搭載。
• キャラクターライブラリ：即時利用可能な100以上の事前作成済みキャラクターパックを提供。