techjarves/Portable-Local-Studio

解決的問題

便攜式AI工作室提供零設定、100%離線的環境，可在單一機器上運行多種AI模態。它消除了複雜環境設定、雲端訂閱與網路連線的需求，讓使用者能於自己的硬體上私密地生成影像、與LLM對話，以及處理語音。

運作方式

本專案將多個高效率的C++後端打包成一個自給自足的執行環境。使用基於Web的GUI來管理這些引擎，預設情況下它們互斥運作，以優化VRAM與RAM的使用。它會自動偵測硬體，並應用可用的最佳加速方式：

• 影像生成： 由 stable-diffusion.cpp 提供支援，支援CUDA、ROCm、Vulkan、Metal與OpenVINO。
• 文字對話： 由 llama.cpp 提供支援，用於GGUF模型。
• 語音轉文字： 由 whisper.cpp 提供支援。
• 文字轉語音： 由 kokoro-js 使用Kokoro-82M ONNX模型提供支援。

適用對象

適用於希望在Windows、Linux與macOS（Apple Silicon）上使用私密、無審查的AI工作室，而無需管理Python環境或API金鑰的使用者。

主要特色

• 零安裝便攜性： 內建自己的Node.js執行時與預先編譯的二進位檔，避免對全域系統造成變更。
• 多模態整合： 在一個介面中整合影像生成、LLM對話、語音轉錄與語音合成功能。
• 硬體自動偵測： 支援多種加速器，包括Nvidia（CUDA）、AMD（ROCm/Vulkan）、Intel（Vulkan/OpenVINO NPU）與Apple（Metal）。
• 整合模型管理器： 支援透過Hugging Face URL或本地拖放方式匯入權重。