Yzw202011/OmniSpace

本地优先的全栈 AI 创作工作站：AI对话 · AI漫画 · 漫剧创作 · 写作台 · 知识学习五大模块；vLLM / llama.cpp / Transformers 多引擎本地推理，显存智能调度、舱壁隔离自愈、仅供学习使用，欢迎交流指正。（最新进度（除插件系统）受到协议限制，暂时无法提交到仓库）

OmniSpace AI – ローカル第一のフルスタッククリエイティブAIスタジオ

何であるか – OmniSpaceは、デスクトップに焦点を当てたプラットフォームであり、テキスト、画像、動画、音声、知識グラフなどのさまざまな生成AIモデルを、1つのエンジニアリングされたワークフローに統合しています。すべての推論はデフォルトでユーザーのGPU上で実行されます。キーやAPIを追加することで、クラウドAPIもオプションで利用可能になります。

コア機能

分野	実行可能なこと	主要技術
AIコミック	複数パネルのコミック生成、LoRAによるキャラクターのスタイル一貫性維持、スクリプトの自動パネル分割、5種類の吹き出し形状の選択、SAMベースのカットアウトによるアセット（キャラクター、シーン、小道具）の編集、PNGまたはPDF形式でのエクスポート	FLUX.2‑Klein, SAM, カスタムUI
AIマンガ / 動画	ストーリーボード → アセット → キーフレーム → 動画のエンドツーエンドパイプライン。ローカル動画生成にはMiniMax‑H3チェーンとComfyUIを使用。キュー、プログレスUI、スタイルパックをサポート	MiniMax‑H3, ComfyUI, vLLM/llama.cppバックエンド
AIチャット	ローカル多エンジンチャット（vLLM, llama.cpp, Transformers）、WebSocketによるストリーミング、ベクトルストアからのコンテキスト＋RAG、ファイル／画像のアップロード、GPUメモリ不足時に自動的にロールバック	vLLM 0.27.1, ChromaDB, FTS5
小説ライター	概要 → 章の生成（長さ・スタイル制御：標準／ライトAI／ハイAI）、キャラクター・世界観構築の支援、TXT/MD形式でのエクスポート	Transformers, カスタムプロンプティング
学習／RAG	ドキュメントと画像をベクトル＋フルテキストインデックスにインジェスト、視覚的知識グラフ、使用状況分析、クォーターアラート	ChromaDB, RRF融合
音声	ローカルTTS（Windows SAPI5）とWhisper音声認識、カスタム音声アップロード。音声クラーニングは計画中	Whisper, ローカルTTSスタック
プラグインシステム	「CuteMamen」パッケージ（tar.gz）で新しい推論エンジンやデータ専用拡張を追加可能。パッケージはサンドボックス化（サブプロセス、ASTチェック、メモリ制限）され、信頼バッジを備えています。	Rustサンドボックス、ASTセキュリティ
運用とセキュリティ	16GBカード向けVRAMスケジューラ、自己修復ラダーによるモジュール分離、暗号化バックアップ（AES‑GCM）、監査ログ、電源喪失回復、段階的削除確認、ハードウェア健全性ダッシュボード	カスタムエンジン、SQLite＋WAL、DPAPI

アーキテクチャのスナップショット

フロントエンド – React 19 + TypeScript, Vite, Tailwind, Zustand, hashルーター、6つのテーマファミリー。
バックエンド – FastAPI 0.141.1, Pydantic v2, uvicorn, エンベッドされたPython 3.12ランタイム上で実行。
推論レイヤー – PyTorch 2.13（CUDA 13.0）とDiffusers、Transformers。vLLM、llama.cpp GGUFとのホットスイッチ可能バックエンド。
データ – SQLite＋ChromaDB（ベクトル用）、FTS5（フルテキスト用）、AES‑256‑GCMフィールド暗号化。
デプロイ – ランチャーデーモンがサービスを起動し、http://127.0.0.1:8765でブラウザを開きます。オプションでTauri WebViewシェルを使用可能。
テスト – 1,132件のpytestケース（GPU対応）＋101件のvitest UIテスト、広範なCIチェック。

セットアップ手順（Windows）

cd E:\OmniSpace
# シンプルなダブルクリック起動スクリプト、または：
runtime\py312\python.exe launcher\launcher.py   # FastAPI＋UIを起動

その後、自動で開かれるブラウザを開いてください。開発モードではAPIはuvicorn src.main:app --reload、UIはpnpm devで実行されます。

どのような人に向いているか？

クラウドにデータを送信せずに、スクリプトからコミック／動画生成までを1つのアプリで行いたいコンテンツクリエイター。
新しいモデルを組み込むための完成済みマルチモーダルパイプラインを探しているAI研究者／エンジニア。
強力なローカルデータプライバシー、監査ログ、GPUのOOMやクラッシュからの自動回復が必要なチーム。

制限事項とロードマップ

現在Windows専用。Linux/macOS対応は計画中。
音声クラーニングはまだ研究段階。
マルチGPUスケーリングとオンライン検索統合は進行中。

結論 – OmniSpaceは、マルチモーダル生成、RAG、堅牢な運用ツールをローカルで実行可能なクリエイティブスタジオに束ねた、本格的でエンジニアリング重視のオープンソース寄りのプロジェクトです。