Yzw202011/OmniSpace

OmniSpace AI – 以本地为先的全栈创意AI工作室

是什么 – OmniSpace 是一个以桌面为中心的平台，将文本、图像、视频、语音和知识图谱等多种生成式AI模型整合为一个工程化的流程。所有推理默认在用户自己的GPU上运行；可选地通过密钥添加云API。

核心功能

领域	可实现的操作	关键技术
AI漫画	生成多面板漫画，使用LoRA保持角色风格一致，自动将脚本拆分为面板，选择五种气泡形状，使用SAM基于切出编辑资产（角色、场景、道具），导出PNG或PDF	FLUX.2‑Klein, SAM, 自定义UI
AI漫画/视频	从故事板 → 资产 → 关键帧 → 视频的端到端流程。使用MiniMax‑H3链和ComfyUI进行本地视频生成，支持队列、进度UI和风格包	MiniMax‑H3, ComfyUI, vLLM/llama.cpp后端
AI对话	多引擎本地聊天（vLLM, llama.cpp, Transformers），通过WebSocket流式传输，从向量存储中获取上下文+RAG，支持文件/图像上传，GPU内存不足时自动降级	vLLM 0.27.1, ChromaDB, FTS5
小说写作	概要 → 章节生成，支持长度与风格控制（标准/轻AI/重AI），角色与世界观构建辅助，导出为TXT/MD	Transformers, 自定义提示词
学习/RAG	将文档与图像导入向量+全文索引，可视化知识图谱，使用分析，配额警报	ChromaDB, RRF融合
语音	本地TTS（Windows SAPI5）和Whisper语音转录，支持自定义语音上传；语音克隆计划中	Whisper, 本地TTS堆栈
插件系统	"CuteMamen"包（tar.gz）可添加新推理引擎或仅数据扩展。包被沙箱化（子进程、AST检查、内存限制）并带有信任徽章	Rust沙箱，AST安全
运维与安全	16GB显卡VRAM调度器，模块隔离与自愈阶梯，加密备份（AES‑GCM），审计日志，断电恢复，分层删除确认，硬件健康仪表板	自定义引擎，SQLite + WAL，DPAPI

架构快照

• 前端 – React 19 + TypeScript, Vite, Tailwind, Zustand, 哈希路由，六种主题家族。
• 后端 – FastAPI 0.141.1, Pydantic v2, uvicorn，运行在嵌入式Python 3.12运行时上。
• 推理层 – PyTorch 2.13（CUDA 13.0）搭配Diffusers与Transformers；支持vLLM、llama.cpp GGUF热切换后端。
• 数据 – SQLite + ChromaDB（向量用），FTS5（全文用），AES‑256‑GCM字段加密。
• 部署 – 启动器守护进程启动服务，并在 http://127.0.0.1:8765 打开浏览器。可选Tauri WebView外壳。
• 测试 – 1,132个pytest用例（GPU感知）+ 101个vitest UI测试，广泛CI检查。

快速上手（Windows）

cd E:\OmniSpace
# 简单双击启动脚本，或：
runtime\py312\python.exe launcher\launcher.py   # 启动FastAPI + UI

然后打开自动弹出的浏览器。开发模式下，API使用 uvicorn src.main:app --reload，UI使用 pnpm dev 运行。

适合谁使用？

• 希望通过单一应用从脚本生成漫画/视频，且不将数据发送至云端的内容创作者。
• 寻找可直接接入新模型的现成多模态流水线的AI研究人员/工程师。
• 需要强本地数据隐私、审计追踪和GPU OOM或崩溃后自动恢复的团队。

限制与路线图

• 目前仅支持Windows；Linux/macOS支持计划中。
• 语音克隆仍处于研究阶段。
• 多GPU扩展和在线搜索集成正在进行中。

总结 – OmniSpace 是一个真正的、工程密集型的类开源项目，将多模态生成、RAG与稳健的运维工具整合为一个本地运行的创意工作室。