MiaAI-Lab/Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install

解決的問題

本專案為具備 12GB 至 32GB VRAM 的消費級 NVIDIA GPU 提供 Qwen3.8-27B 模型的「一鍵式」安裝與服務工具包。它透過根據使用者硬體自動完成環境設定、權重下載與量化選擇，消除手動操作的複雜性。

工作原理

該工具包使用 EXL3 量化（主要來自 turboderp）將大型模型適配到有限的 VRAM 中。一個啟動腳本（稱為 simplex）透過 nvidia-smi 分析使用者的 GPU VRAM，並自動選擇最適合顯示卡的量化級別（bpw）與上下文大小。隨後，它會建立一個自包含的 Python 虛擬環境，下載所需權重，並透過 OpenAI 兼容 API 端點提供模型服務。在使用者介面方面，它整合了 DeepSeek Harness（dsh），這是一個基於節點的聊天 UI，能根據載入模型的功能自動配置自身。

適用對象

希望在 Windows 或 Linux 上無需手動管理 CUDA 工具包、編譯器或複雜設定檔，即可在本機執行 Qwen3.8-27B 的 NVIDIA GPU（Turing 架構或更新）使用者。

主要亮點

• 硬體感知自動化：根據檢測到的 VRAM（12GB、16GB、24GB 或 32GB+）自動選擇最佳模型量化與上下文視窗。
• 自包含安裝：將所有內容安裝至獨立資料夾（venv、models、logs）中，無需管理員權限或系統級 Python 更改。
• OpenAI 兼容 API：提供 /v1 端點，便於與其他工具整合。
• 可恢復下載：模型權重下載可中斷並恢復，不會遺失資料。
• 整合聊天 UI：部署 DeepSeek Harness，提供開箱即用的聊天體驗，並自動配置模型參數。
• 跨平台支援：Windows 與 Linux 均使用統一的命令列介面（simplex）。