paulrobello/parllama

解決する課題

PAR LLAMA は、ローカルおよびクラウドベースの大規模言語モデル（LLM）の管理と対話を簡素化するターミナルベースのインターフェース（TUI）です。複雑なコマンドライン操作やブラウザベースのインターフェースを必要とせず、チャット、モデル管理、セッション整理のための統一されたキーボード駆動型の環境を提供します。

仕組み

Textual および Rich Python ライブラリを使用して構築されたこのアプリケーションは、ローカルの Ollama インスタンスや様々なクラウドプロバイダー（OpenAI, Anthropic, Groq など）に接続する、応答性の高い非同期インターフェースを提供します。チャットセッションの管理、ドキュメント添付の処理（ネイティブサポートがないモデル向けのテキスト抽出機能付き）、API キーを保存するための安全で暗号化された保管庫を提供します。ユーザーはタブを切り替えて、ローカルモデルの管理、レジストリからの新しいモデルのプル、システムプロンプトの設定、テンプレートの実行を行うことができます。

対象ユーザー

このツールは、ターミナル環境での作業を好み、コマンドラインから離れることなく複数の LLM プロバイダーやローカルモデルを効率的かつ一元的に管理したい開発者やパワーユーザー向けに設計されています。

ハイライト

• マルチプロバイダー対応: Ollama, OpenAI, Anthropic, Groq, XAI, OpenRouter, Deepseek, LiteLLM に対応しています。
• クロスプラットフォーム TUI: Windows, macOS, Linux 上でネイティブに動作し、キーボード操作を中心とした応答性の高いインターフェースを備えています。
• 高度なセッション管理: チャットセッションの保存、エクスポート、自動命名をサポートし、会話をまたいだ永続的なメモリ機能も備えています。
• ドキュメントおよびビジョン対応: PDF、テキスト、Markdown ファイルの添付が可能で、LLaVA や GPT-4 Vision のような視覚認識能力を持つモデルとも対話できます。