ImDarkTom/LlamaPen

解决的问题

LlamaPen 提供了一个用户友好的、基于网页的图形界面，用于与本地大型语言模型（LLM）进行交互，无需复杂的安装过程。它简化了与各种本地 LLM 提供商的连接，使用户能够以注重隐私的方式管理模型并进行聊天。

如何工作

该应用程序作为自托管 LLM 服务器的前端。它支持广泛的提供方，包括 Ollama、llama.cpp、LM Studio、Jan 和 vLLM，以及任何 OpenAI 兼容 API。可以通过 Docker 部署，也可以使用 Bun 手动部署，并将所有聊天记录本地存储在浏览器中以确保隐私。

适用人群

专为在自己硬件上运行 LLM 的用户设计，希望获得在桌面和移动设备上都能良好运行的精致、响应迅速的界面。

主要亮点

• 广泛的提供方支持：支持 Ollama、llama.cpp、LM Studio、Jan、vLLM 以及 OpenAI 兼容服务器。
• 丰富的渲染功能：支持 Markdown、LaTeX 数学公式和 "think" 文本。
• 隐私优先：所有聊天记录均在浏览器中本地存储。
• 集成管理功能：内置模型和下载管理器。
• PWA 支持：支持离线使用和渐进式网页应用（PWA）功能。