paulrobello/parllama

何を解決するか

ParLlamaは、大規模言語モデル（LLM）の管理と利用を簡素化するターミナルユーザーインターフェース（TUI）アプリケーションです。Ollamaを介したローカルモデルとの対話、および様々なクラウドベースのプロバイダーとの対話のための統一されたインターフェースを提供し、異なるCLIツールやWebインターフェースを切り替える必要性をなくします。

仕組み

TextualとRichで構築されたこのアプリケーションは、LLMプロバイダーに接続するクライアントとして機能します。Ollamaとネイティブに統合されており、ローカルモデルのプル、削除、および量子化が可能です。また、OpenAI、Anthropic、GroqなどのクラウドAPIもサポートしています。会話を保存して整理するためのセッション管理システム、永続的なユーザーコンテキストのためのメモリシステム、およびAPIキーのための安全なヴォルト（vault）を備えています。

対象ユーザー

ターミナルでの作業を好むが、ローカルおよびリモートのLLMを管理するためのリッチで視覚的なインターフェースを求めるユーザー、および複数のAIプロバイダーとチャットするための集約されたツールを必要とする開発者。

ハイライト

• マルチプロバイダー対応: Ollama、OpenAI、Anthropic、Groq、XAI、OpenRouter、Deepseek、およびLiteLLMに対応。
• ビジョン機能: LLaVAのようなビジョン対応モデルを使用した画像とのチャットをサポート。
• ローカルモデル管理: TUIから直接、モデルのプル、削除、および量子化が可能。
• セッションとメモリ: チャットセッションの保存/読み込み、および会話を横断した永続的なユーザーコンテキストの維持。
• Fabric統合: Fabricパターンを再利用可能なプロンプトとしてインポートして使用する機能。
• 安全なシークレットヴォルト: AES-GCMを使用した機密性の高いAPIキーの暗号化ストレージ。
• テンプレート実行: 設定可能な許可リスト（allowlists）を使用したコード実行のための安全なシステム。