MiaAI-Lab/Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install

何を解決するか

このプロジェクトは、12GB から 32GB の VRAM を搭載したコンシューマー向け NVIDIA GPU 上で Qwen3.8-27B モデルの「ワンクリック」インストールおよびサービングキットを提供します。手動での環境設定、重みのダウンロード、量子化の選択といった複雑さを、ユーザーのハードウェアに応じた自動プロセスで排除します。

仕組み

このキットは、EXL3 量子化（主に turboderp から）を使用して、大規模なモデルを限られた VRAM に収めるようにしています。起動スクリプト（simplex）は nvidia-smi を使ってユーザーの GPU VRAM を分析し、カードに収まる最適な量子化レベル（bpw）とコンテキストサイズを自動的に選択します。その後、自己完結型の Python 仮想環境を作成し、必要な重みをダウンロードして、OpenAI互換の API エンドポイントでモデルを提供します。ユーザーインターフェースには、DeepSeek Harness（dsh）を統合しており、これはノードベースのチャット UI で、読み込まれたモデルの機能に基づいて自動的に設定されます。

対象ユーザー

CUDA ツールキット、コンパイラ、複雑な設定ファイルを手動で管理する必要なく、Windows または Linux 上で Qwen3.8-27B をローカルで実行したい、NVIDIA GPU（Turing アーキテクチャ以降）をお持ちのユーザー。

特徴

• ハードウェア対応の自動化：検出された VRAM（12GB、16GB、24GB、32GB以上）に基づいて、最適なモデル量子化とコンテキストウィンドウを自動選択。
• 自己完結型インストール：管理者権限やシステム全体の Python 変更を必要とせず、独自のフォルダ（venv、models、logs）にすべてをインストール。
• OpenAI互換 API：他のツールとの統合に使える /v1 エンドポイントを提供。
• 再開可能なダウンロード：モデル重みのダウンロードを中断しても、データ損失なく再開可能。
• 統合チャット UI：DeepSeek Harness をデプロイし、自動モデル設定付きの即時利用可能なチャット体験を提供。
• クロスプラットフォーム：Windows と Linux の両方で統一されたコマンドラインインターフェース（simplex）を提供。