techjarves/Portable-Local-Studio

解决的问题

便携式AI工作室提供了一个零配置、100%离线的环境，可在单台机器上运行多种AI模态。它消除了复杂环境设置、云订阅和互联网连接的需求，使用户能够在自己的硬件上私密地生成图像、与LLM聊天以及处理语音。

工作原理

该项目将多个高性能C++后端打包为一个自包含的运行时。它使用基于Web的GUI来管理这些引擎，默认情况下它们互斥运行，以优化VRAM和RAM使用。它会自动检测硬件，并应用可用的最佳加速方法：

• 图像生成： 由 stable-diffusion.cpp 提供支持，兼容CUDA、ROCm、Vulkan、Metal和OpenVINO。
• 文本聊天： 由 llama.cpp 提供支持，用于GGUF模型。
• 语音转文本： 由 whisper.cpp 提供支持。
• 文本转语音： 由 kokoro-js 使用Kokoro-82M ONNX模型提供支持。

适用人群

适用于希望在Windows、Linux和macOS（Apple Silicon）上使用私密、无审查AI工作室，而无需管理Python环境或API密钥的用户。

主要亮点

• 零安装便携性： 包含自己的Node.js运行时和预编译二进制文件，避免对全局系统造成更改。
• 多模态集成： 在一个界面中统一图像生成、LLM聊天、语音转录和语音合成功能。
• 硬件自动检测： 支持多种加速器，包括Nvidia（CUDA）、AMD（ROCm/Vulkan）、Intel（Vulkan/OpenVINO NPU）和Apple（Metal）。
• 集成模型管理器： 支持通过Hugging Face URL或本地拖放方式导入权重。