stochasticai/xTuring

解決的問題

xTuring 提供了一種簡化的方式，用於私有地微調、評估和執行開源大型語言模型（LLM）。它解決了在自訂資料上訓練模型時通常面臨的複雜性與高昂的硬體成本問題，讓使用者能在本地或私有雲（VPC）中執行這些流程，以確保資料隱私。

工作原理

此專案使用高階 API 抽象資料準備、訓練與推論的複雜性。它利用 LoRA（低秩適應）與低精度量化（INT8 與 INT4）等高效技術，大幅降低記憶體與運算需求。它也與 Intel® Extension for Transformers 整合，以優化 CPU 推論。系統基於註冊表模式建構，允許使用者透過統一介面建立與管理各種模型變體（例如 LLaMA、Qwen3、GPT-OSS）。

適用對象

專為需要使用自有資料個人化 LLM 但同時保持資料私密性的開發者與組織設計，也適用於希望在有限硬體（從筆電到多 GPU 環境）上執行微調或推論的使用者。

主要亮點

• 廣泛模型支援：支援 LLaMA 2、Qwen3、GPT-OSS、Mistral 與 Mamba 等多種模型。
• 高效訓練：實作 LoRA 與 INT4/INT8 量化，顯著減少 GPU 記憶體使用與訓練時間。
• 預設私有：專為本地或 VPC 部署設計，確保資料隱私。
• 內建評估功能：包含使用困惑度等指標評估模型效能的工具。
• 互動式工具：提供 CLI 用於與模型對話，以及基於 Gradio 的 UI 玩具箱用於測試。
• 資料集生成：提供實用工具，利用自指導與 Qwen3-Omni 等多模態檢查點來建構指令語料庫。