paulrobello/parllama

解决的问题

PAR LLAMA 是一个基于终端的界面 (TUI)，简化了本地和云端大语言模型的管理与交互。它通过提供一个统一的、键盘驱动的环境来进行聊天、模型管理和会话组织，消除了对复杂命令行交互或基于浏览器的界面的需求。

工作原理

该应用程序使用 Textual 和 Rich Python 库构建，提供了一个响应式的异步界面，可连接到本地 Ollama 实例或各种云提供商（OpenAI, Anthropic, Groq 等）。它管理聊天会话，处理文档附件（为缺乏原生支持的模型提供文本提取），并提供一个安全的加密库来存储 API 密钥。用户可以通过不同的标签页来管理本地模型、从注册表中拉取新模型、配置系统提示词以及执行模板。

适用人群

该工具专为喜欢在终端环境中工作，并希望在不离开命令行的情况下集中、高效地管理多个 LLM 提供商和本地模型的开发者及高级用户而设计。

主要亮点

• 多提供商支持：支持 Ollama, OpenAI, Anthropic, Groq, XAI, OpenRouter, Deepseek 和 LiteLLM。
• 跨平台 TUI：在 Windows, macOS 和 Linux 上原生运行，具有响应式、以键盘为中心的界面。
• 高级会话管理：支持保存、导出和自动命名聊天会话，并具备跨对话的持久记忆功能。
• 文档与视觉支持：允许附加 PDF、文本和 Markdown 文件，并能与 LLaVA 和 GPT-4 Vision 等具备视觉能力的模型进行交互。