Emericen/tiny-qwen

解決的問題

使用 PyTorch 提供 Qwen 模型架構（特別是 Qwen 3.8）的最小且易讀的重實現，作為更複雜的 Hugging Face 程式碼庫的替代方案。同時包含透過量化降低記憶體需求的工具。

如何運作

此專案在 PyTorch 中實作 Qwen 架構，並提供 Model 與 Processor 類別，用於載入與執行推論。支援從 Hugging Face 倉庫、本機目錄或連接到 OpenAI 相容 API 端點載入模型。為減少記憶體使用，內建支援 int4 量化。

適用對象

希望獲得清晰、易懂的 Qwen 模型實作，或希望在自己硬體上使用 int4 量化執行 Qwen 模型的開發者與研究人員。

主要亮點

• Qwen 3.8 的最小 PyTorch 重實現。
• 內建 int4 量化支援，以減少模型大小。
• 包含單一檔案代理框架，便於快速部署。
• 支援本機執行與遠端 OpenAI 相容 API 端點。
• 支援多模態輸入（文字與影像），如程式庫使用範例所示。