techjarves/Portable-Local-Studio

해결하는 문제

포터블 AI 스튜디오는 단일 머신에서 여러 AI 모달리티를 실행하기 위한 제로 설정, 100% 오프라인 환경을 제공합니다. 복잡한 환경 설정, 클라우드 구독, 인터넷 연결이 필요 없으며, 사용자가 자신의 하드웨어에서 이미지 생성, LLM 채팅, 음성 처리를 사생활 보호된 상태로 수행할 수 있습니다.

작동 방식

이 프로젝트는 여러 고성능 C++ 백엔드를 자체 포함된 런타임으로 패키지화합니다. 웹 기반 GUI를 사용하여 이러한 엔진을 관리하며, 기본적으로 상호 배타적으로 작동하여 VRAM 및 RAM 사용량을 최적화합니다. 하드웨어를 자동으로 감지하여 사용 가능한 최적의 가속 방법을 적용합니다:

• 이미지 생성: CUDA, ROCm, Vulkan, Metal, OpenVINO를 지원하는 stable-diffusion.cpp 기반.
• 텍스트 채팅: GGUF 모델을 위한 llama.cpp 기반.
• 음성 인식: whisper.cpp 기반.
• 음성 합성: Kokoro-82M ONNX 모델을 사용하는 kokoro-js 기반.

대상 사용자

Python 환경이나 API 키를 관리하지 않고도 사생활 보호된, 제한 없는 AI 스튜디오를 원하는 Windows, Linux, macOS(Apple Silicon) 사용자를 대상으로 합니다.

주요 특징

• 제로 설치 포터블성: 글로벌 시스템 변경을 피하기 위해 자체 Node.js 런타임과 사전 컴파일된 바이너리를 포함합니다.
• 다중 모달 통합: 이미지 생성, LLM 채팅, 음성 인식, 음성 합성을 하나의 인터페이스에서 통합합니다.
• 하드웨어 자동 감지: Nvidia(CUDA), AMD(ROCm/Vulkan), Intel(Vulkan/OpenVINO NPU), Apple(Metal) 등 다양한 가속기 지원.
• 통합 모델 매니저: Hugging Face URL 또는 로컬 드래그 앤 드롭을 통해 가중치를 가져올 수 있습니다.