RachelForster/Shinsekai

해결하는 문제

Shinsekai는 Galgame, 오토메, 스토리 중심 RPG를 위한 데스크톱 보조 도구입니다. 분산된 작업 흐름 문제를 해결하기 위해 LLM 기반 대화, 감정 동기화된 캐릭터 아트(스프라이트), 텍스트 음성 변환(TTS), 음성 인식(ASR)을 하나의 통합된 경험으로 통합합니다.

작동 방식

시스템은 두 가지 주요 인터페이스로 기능을 분리합니다: API, 캐릭터, 플러그인을 관리하는 React 기반 설정 센터와 실제 성능을 위한 전용 채팅 창입니다. 다양한 LLM 제공업체에 API를 통해 연결되며, GPT-SoVITS 및 Genie TTS와 같은 여러 TTS 엔진을 지원하고 ComfyUI를 통해 이미지 생성도 통합할 수 있습니다. 플러그인 SDK와 Model Context Protocol(MCP)을 사용하여 외부 도구 및 서비스와의 기능 확장을 가능하게 합니다.

대상 사용자

시각 소설 및 스토리 중심 게임의 제작자와 플레이어 중, 동기화된 시각과 오디오를 갖춘 몰입형 AI 기반 캐릭터 상호작용을 원하는 사용자를 대상으로 합니다.

주요 기능

• 통합된 성능 파이프라인: 채팅 템플릿, 세션 기록, 감정 기반 스프라이트 전환, 음성 합성 기능을 하나의 워크플로우로 통합.
• 확장 가능한 아키텍처: 플러그인 SDK와 MCP 지원을 통해 새로운 LLM, TTS, ASR, T2I 어댑터 또는 외부 도구를 추가 가능.
• 감정 연동: AI 대화에 포함된 감정 태그에 따라 캐릭터 스프라이트를 자동으로 전환.
• 장기 기억: 다양한 세션 간에 캐릭터 고유의 기억을 관리하고 검색하여 스토리 일관성 유지.
• 사용자 정의 시각 요소: 채팅 스킨, 폰트, 무대 스타일을 편집할 수 있는 내장 테마 매니저 제공.
• 캐릭터 라이브러리: 즉시 사용 가능한 100개 이상의 사전 제작된 캐릭터 팩 제공.