oobabooga/textgen

解决的问题

TextGen 是一款桌面应用程序，允许用户在自己的硬件上本地运行大型语言模型（LLM），确保 100% 的隐私且无遥测数据。它提供了一个全面的界面，用于与模型交互，消除了设置本地推理引擎和管理模型文件的复杂性。

如何工作

该应用集成了多种后端，以支持广泛的模型格式和硬件加速（CUDA、Vulkan、ROCm 和 CPU）。支持 GGUF（通过 llama.cpp）、Transformers、ExLlamaV3 和 TensorRT-LLM。用户只需下载模型文件并将其放入指定文件夹，应用即可自动检测。

适用人群

注重隐私的用户、AI 爱好者以及希望在不依赖云端 API 的情况下本地运行 LLM 的开发者，以及希望进行本地微调（LoRA）或图像生成的用户。

主要亮点

• 多模态功能：支持视觉模型以实现视觉理解，以及文件附件（PDF、.docx、文本）以支持基于文档的聊天。
• 灵活的界面：包含 instruct 模式（类似 ChatGPT 的交互）、chat 模式（用于自定义角色）和笔记本（用于自由生成）。
• 本地 API：提供与 OpenAI/Anthropic 兼容的 API，可作为本地即插即用的替代方案。
• 工具调用：模型可执行自定义 Python 函数，包括网络搜索和数学计算，并支持 MCP 服务器。
• LoRA 训练：内置支持在聊天或原始文本数据集上微调 LoRA。
• 图像生成：专用标签页支持 diffusers 模型，具备量化功能和持久化画廊。
• 隐私保护：完全离线运行，不请求任何外部资源。