MiaAI-Lab/Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install

해결하는 문제

이 프로젝트는 Qwen3.8-27B 모델을 위한 "원클릭" 설치 및 서빙 키트를 제공하며, 16GB~32GB VRAM을 가진 소비자용 NVIDIA GPU에서 실행되도록 특별히 최적화되었습니다. Python 환경 설정, 특정 양자화 가중치 다운로드, 다양한 하드웨어 프로필에 맞는 VRAM 예산 구성의 수동적인 복잡성을 제거합니다.

작동 방식

이 키트는 EXL3 양자화(주로 turboderp에서 제공)를 사용하여 대형 모델을 제한된 VRAM에 맞춥니다. 사용자의 GPU VRAM을 자동으로 감지하고 측정된 성능 데이터를 기반으로 최적의 양자화 수준(bpw)과 컨텍스트 크기를 권장하는 실행기(simplex)를 포함합니다. 로컬 Python 가상 환경을 설정하고 필요한 가중치를 다운로드하며 OpenAI 호환 API 엔드포인트를 통해 모델을 서빙합니다. 사용자 인터페이스의 경우, 모델의 로드된 기능(예: 비전 지원 및 컨텍스트 창)에 따라 자동으로 구성되는 Node 기반 채팅 UI인 DeepSeek Harness를 통합합니다.

대상 사용자

Windows 또는 Linux에서 NVIDIA GPU(12GB VRAM 이상, Turing 아키텍처 이상)를 보유하고 있으며, 종속성, CUDA 툴킷 또는 복잡한 구성 파일을 수동으로 관리하지 않고 Qwen3.8-27B를 로컬에서 실행하려는 사용자.

주요 특징

• 자동 하드웨어 프로파일링: VRAM을 자동으로 감지하고 최적의 모델 크기와 컨텍스트 창을 제안합니다.
• 크로스 플랫폼: 설치 및 관리를 위한 전용 스크립트로 Windows와 Linux에서 통일된 동작을 제공합니다.
• OpenAI 호환: 다른 AI 도구와 함께 사용할 수 있는 API 엔드포인트를 제공합니다.
• 자체 포함: 모든 종속성(Python venv, 가중치)을 자체 폴더에 설치하여 시스템 경로를 오염시키지 않습니다.
• 재개 가능한 다운로드: 모델 가중치 다운로드는 데이터 손실 없이 중단 및 재개할 수 있습니다.
• 통합 UI: 모델의 로드된 기능에 동적으로 조정되는 채팅 인터페이스의 원클릭 배포.

SUMMARY: 소비자용 NVIDIA GPU에서 Qwen3.8-27B를 실행하기 위한 원클릭 설치 키트로, 자동 VRAM 프로파일링과 OpenAI 호환 API를 제공합니다.

TITLE: 소비자용 NVIDIA GPU에 최적화된 Qwen3.8-27B 원클릭 서빙 키트