oobabooga/textgen

解決的問題

TextGen 是一款桌面應用程式，允許使用者在自己的硬體上本地執行大型語言模型（LLM），確保 100% 的隱私且無遙測資料。它提供一個全面的介面，用於與模型互動，消除設定本地推論引擎與管理模型檔案的複雜性。

如何運作

該應用整合多種後端，以支援廣泛的模型格式與硬體加速（CUDA、Vulkan、ROCm 與 CPU）。支援 GGUF（透過 llama.cpp）、Transformers、ExLlamaV3 與 TensorRT-LLM。使用者只需下載模型檔案並放入指定資料夾，應用程式即可自動偵測。

適用對象

重視隱私的使用者、AI 愛好者，以及希望在不依賴雲端 API 的情況下本地執行 LLM 的開發者，還有希望進行本地微調（LoRA）或圖像生成的使用者。

主要亮點

• 多模態功能：支援視覺模型以實現視覺理解，以及檔案附件（PDF、.docx、文字）以支援基於文件的聊天。
• 彈性介面：包含 instruct 模式（類似 ChatGPT 的互動）、chat 模式（用於自訂角色）與筆記本（用於自由生成）。
• 本地 API：提供與 OpenAI/Anthropic 相容的 API，可作為本地即插即用的替代方案。
• 工具呼叫：模型可執行自訂 Python 函式，包括網路搜尋與數學運算，並支援 MCP 伺服器。
• LoRA 訓練：內建支援在聊天或原始文字資料集上微調 LoRA。
• 圖像生成：專用標籤頁支援 diffusers 模型，具備量化功能與持久化畫廊。
• 隱私保護：完全離線運作，不請求任何外部資源。