RachelForster/Shinsekai

Shinsekai – ビジュアルノベル風RPGのためのAI搭載デスクトップアシスタント

概要 – Shinsekai（新世界）は、ギャルゲーム、乙女ゲーム、ストーリー重視のRPGのキャラクターとチャットできるローカル実行のデスクトップアプリケーションです。対話は大規模言語モデル（LLM）によって生成され、システムはキャラクターの立ち絵（立绘）と感情表現を自動的に同期させ、オプションで音声合成（TTS）と音声認識（ASR）を追加します。すべてのコンポーネント（LLM、TTS、ASR、画像生成、カスタムツール）は、Reactベースの設定UIで構成でき、プラグインで拡張できます。

中核機能

モジュール	提供される機能
ロール＆テンプレート管理	キャラクターパックのインポート/エクスポート（`.char`）、AI支援によるロールプレイ設定の生成、マルチキャラクターチャットテンプレートの適用、会話履歴の保持、セッションの保存/読み込み。
立ち絵＆パフォーマンス	キャラクターごとに複数の立ち絵画像を添付し、各画像に感情タグを付け、UIが対話内の感情コマンドに基づいて画像を自動的に切り替えます。
音声	GPT-SoVITS、Genie TTS、CosyVoiceなどによる音声合成; 録音済み音声ファイルのオプション再生。音声認識はデフォルトでVosk、プラグインによりWhisper系バックエンドも可能。
LLM＆ツール	API設定ファイルを介して、OpenAI互換のエンドポイント（DeepSeek、OpenAIなど）に接続。ストリーミング応答とツール呼び出しをサポート。ツールは、内蔵アダプター、プラグイン、または外部MCPサーバーから提供できます。
画像生成（T2I）	ComfyUIサーバー（または他のアダプター）を接続して、キャラクターアートをその場で生成; 設定は同じAPI設定ペインにあります。
React設定センター	APIキー、モデルID、立ち絵リソース、テーマ、プラグイン、MCP接続を管理するWebベースのUI（`webui_react.py`）。
プラグインシステム	SDKにより、開発者は新しいアダプター（LLM、TTS、ASR、T2I）、新しいツール、UIパネルを追加できます。プラグインは`data/config/plugins.yaml`にリストされ、設定UIからインストール/有効化できます。
MCP（Model Context Protocol）	プラグインを書かずにリモートツールサービス（SSEまたは stdio）を登録; リモートツールは現在のLLMのツールセットの一部になります。
テーマエディター	チャットウィンドウのスキンを視覚的に編集 – フォント、色、レイアウト、名前タグなど。
ローカルファーストのデータ	すべての設定、キャラクターパック、履歴、生成されたアセットは`data/`の下にあります。バックアップとオフライン使用が簡単です。

クイックスタート（約5分）

コードを取得 – git clone https://github.com/RachelForster/Shinsekai && cd Shinsekai (またはリリースパッケージをダウンロード)。
インストール – プラットフォーム固有のinstall.*スクリプトを実行するか、environment.ymlからConda環境を作成し、pip install -r requirements.txtを実行します。
設定UIを起動 – start-react.*（Windows/macOS/Linux）をダブルクリックします。スクリプトはローカルPython HTTPブリッジを起動し、ブラウザでReact設定ページを開きます。
LLMを構成 – API設定でプロバイダーを選択し、モデルID、APIキー、ベースURLを入力して保存します。
キャラクターを追加 – ロール管理タブから.charパック（例: リリースのnanami.char）をインポートします。
チャットテンプレートを作成 – 使用するキャラクターを選択し、テンプレートを生成して、メインチャットウィンドウを開きます。
話す – タイプまたは話す; LLMが応答し、感情タグに応じて立ち絵が切り替わり、オプションのTTSがセリフを読み上げます。

Shinsekaiの拡張

プラグイン – plugins/の下にプラグインフォルダを置き、data/config/plugins.yamlにリストするか、内蔵プラグインレジストリUIからインストールします。提供されているSDK（python -m sdk.cli create …）を使用して、新しいアダプター、ツール、UIパネルをスキャフォールドします。
MCPサービス – mcpPythonパッケージをインストールし、互換性のあるサーバーを実行し、data/config/mcp.yaml（または設定UI）をそのサーバーにポイントします。リモートツールはLLMのツールリストに自動的に表示されます。
カスタムT2Iパイプライン – API設定でComfyUIエンドポイント（または他のT2Iサービス）を構成し、キャラクターの立ち絵生成ステップでワークフロー/ノードIDを参照します。

デスクトップアプリのビルド（Tauri）

ネイティブデスクトップラッパーが必要な場合:

cd frontend
pnpm install
pnpm tauri:dev   # 開発用
pnpm tauri build  # リリースパッケージ用

ビルドプロセスは、Reactフロントエンドをバンドルし、アップデータに署名し（TAURI_SIGNING_PRIVATE_KEYを設定）、ターゲットOS用のインストーラを生成します。

ライセンス＆コミュニティ

ライセンス – ソースコードはオープンですが、コンパイルされたアプリ、リリースの再配布、商用利用には書面による許可が必要です（LICENSEを参照）。
コミュニティ – QQグループ928985460、GitHubのイシュートラッカー、および別のプラグインレジストリリポジトリ。

結論

Shinsekaiは、LLM駆動の対話、動的なキャラクター立ち絵、音声合成、拡張可能なツールを組み合わせた、かなり完全なローカルホストプラットフォームであり、インタラクティブなストーリーテリングを実現します。ヘビーな作業をクラウドサービスに依存せず、自己完結型の「ビジュアルノベルチャット」体験を求める趣味人やクリエイター向けに設計されています。