paulrobello/parllama

它解決的問題

ParLlama 是一個終端使用者介面（TUI）應用程式，可簡化大型語言模型（LLMs）的管理與使用。它提供一個統一介面，用於透過 Ollama 與本地模型互動，以及與各種雲端提供者進行互動，無需在不同的 CLI 工具或網頁介面之間切換。

如何運作

使用 Textual 和 Rich 建構，此應用程式作為連接到 LLM 提供者的客戶端。它原生整合 Ollama 以進行本地模型的拉取、刪除與量化，同時支援 OpenAI、Anthropic 和 Groq 等雲端 API。它具備會話管理系統，可儲存與組織對話，具備記憶系統以維持使用者的持續上下文，以及安全的金鑰倉儲。

適用對象

偏好在終端機中工作，但希望擁有豐富且直覺的視覺介面來管理本地與遠端 LLM 的使用者，以及需要集中化工具與多個 AI 提供者對話的開發者。

主要特色

• 多提供者支援：支援 Ollama、OpenAI、Anthropic、Groq、XAI、OpenRouter、Deepseek 和 LiteLLM。
• 視覺能力：支援使用具備視覺能力的模型（如 LLaVA）進行圖像對話。
• 本地模型管理：可直接在 TUI 中拉取、刪除與量化模型。
• 會話與記憶：可儲存/載入對話會話，並在不同對話間維持持續的使用者上下文。
• Fabric 整合：可匯入並使用 Fabric 模式作為可重複使用的提示。
• 安全祕密倉儲：使用 AES-GCM 加密儲存敏感的 API 金鑰。
• 範本執行：具備安全的系統，可根據可配置的允許清單執行程式碼。