Yzw202011/OmniSpace

本地优先的全栈 AI 创作工作站：AI对话 · AI漫画 · 漫剧创作 · 写作台 · 知识学习五大模块；vLLM / llama.cpp / Transformers 多引擎本地推理，显存智能调度、舱壁隔离自愈、仅供学习使用，欢迎交流指正。（最新进度（除插件系统）受到协议限制，暂时无法提交到仓库）

OmniSpace AI – 로컬 중심의 풀스택 창작형 AI 스튜디오

무엇인가요 – OmniSpace는 데스크톱 중심의 플랫폼으로, 텍스트, 이미지, 동영상, 음성, 지식 그래프 등의 다양한 생성형 AI 모델을 하나의 엔지니어링된 워크플로우로 통합합니다. 모든 추론은 기본적으로 사용자의 GPU에서 실행되며, 키를 추가해 클라우드 API를 옵션으로 사용할 수 있습니다.

핵심 기능

영역	할 수 있는 일	주요 기술
AI 만화	다중 패널 만화 생성, LoRA를 통한 캐릭터 스타일 일관성 유지, 스크립트 자동 패널 분할, 5가지 말풍선 모양 선택, SAM 기반 컷아웃으로 캐릭터, 장면, 소품 편집, PNG 또는 PDF로 내보내기	FLUX.2‑Klein, SAM, 커스텀 UI
AI 만화 / 동영상	스토리보드 → 자산 → 키프레임 → 동영상의 엔드투엔드 파이프라인. 로컬 동영상 생성에 MiniMax‑H3 체인과 ComfyUI 사용, 큐, 진행률 UI, 스타일 팩 지원	MiniMax‑H3, ComfyUI, vLLM/llama.cpp 백엔드
AI 대화	다엔진 로컬 채팅 (vLLM, llama.cpp, Transformers), WebSocket을 통한 스트리밍, 벡터 스토어에서의 컨텍스트 + RAG, 파일/이미지 업로드, GPU 메모리 부족 시 자동 다운그레이드	vLLM 0.27.1, ChromaDB, FTS5
소설 작가	개요 → 길이 및 스타일 제어(표준/라이트AI/하이AI)로 장 생성, 캐릭터 및 세계관 구축 지원, TXT/MD로 내보내기	Transformers, 커스텀 프롬프팅
학습 / RAG	문서 및 이미지 벡터+전체 텍스트 인덱스에 통합, 시각적 지식 그래프, 사용 분석, 할당량 알림	ChromaDB, RRF 융합
음성	로컬 TTS(Windows SAPI5) 및 Whisper 음성 인식, 사용자 정의 음성 업로드; 음성 클로닝은 계획 중	Whisper, 로컬 TTS 스택
플러그인 시스템	"CuteMamen" 패키지(tar.gz)로 새로운 추론 엔진 또는 데이터 전용 확장 추가 가능. 패키지는 사전 처리(서브프로세스, AST 검사, 메모리 제한)로 사전 보안되며 신뢰 뱃지 제공	Rust 사전, AST 보안
운영 및 안전성	16GB 카드용 VRAM 스케줄러, 자가치유 래더를 통한 모듈 격리, 암호화 백업(AES‑GCM), 감사 로그, 전원 장애 복구, 단계적 삭제 확인, 하드웨어 건강 대시보드	커스텀 엔진, SQLite + WAL, DPAPI

아키텍처 요약

프론트엔드 – React 19 + TypeScript, Vite, Tailwind, Zustand, 해시 라우터, 6가지 테마 패밀리.
백엔드 – FastAPI 0.141.1, Pydantic v2, uvicorn, 내장된 Python 3.12 런타임에서 실행.
추론 계층 – PyTorch 2.13 (CUDA 13.0) + Diffusers & Transformers; vLLM, llama.cpp GGUF로 전환 가능한 백엔드.
데이터 – SQLite + ChromaDB(벡터용), FTS5(전체 텍스트용), AES‑256‑GCM 필드 암호화.
배포 – 런처 데몬이 서비스를 시작하고 http://127.0.0.1:8765에서 브라우저를 열어줍니다. 선택적으로 Tauri WebView 쉘 사용 가능.
테스트 – 1,132개의 pytest 케이스(GPU 인식) + 101개의 vitest UI 테스트, 광범위한 CI 체크.

시작하기 (Windows)

cd E:\OmniSpace
# 간단한 더블클릭 시작 스크립트 또는:
runtime\py312\python.exe launcher\launcher.py   # FastAPI + UI 실행

그 후 자동으로 열리는 브라우저를 엽니다. 개발 모드에서는 API는 uvicorn src.main:app --reload, UI는 pnpm dev로 실행됩니다.

누구에게 적합한가요?

클라우드에 데이터를 전송하지 않고도 스크립트에서 만화/동영상 생성까지 한 앱으로 처리하고 싶은 콘텐츠 크리에이터.
새로운 모델을 쉽게 통합할 수 있는 완성된 다중 모달 파이프라인을 찾는 AI 연구자/엔지니어.
강력한 로컬 데이터 프라이버시, 감사 기록, GPU OOM 또는 충돌 후 자동 복구가 필요한 팀.

제한 사항 및 로드맵

현재 Windows 전용; Linux/macOS 지원은 계획 중.
음성 클로닝은 여전히 연구 중.
멀티 GPU 스케일링 및 온라인 검색 통합은 진행 중.

결론 – OmniSpace는 진정한 엔지니어링 중심의 오픈소스 스타일 프로젝트로, 다중 모달 생성, RAG, 견고한 운영 도구를 로컬에서 실행 가능한 창작 스튜디오로 통합한 것입니다.