taketwo/llm-ollama

何を解決するか

このプロジェクトは llm コマンドラインツール用のプラグインを提供し、ローカル、リモートマシン、または Ollama のホストされたクラウドサービス上で実行されている Ollama サーバー上のモデルに簡単にアクセスして対話できるようにします。

動作方法

このプラグインは OLLAMA_HOST を介して Ollama サーバーに接続し、利用可能なすべてのモデルを自動的に検出します。これらのモデルを llm ツールに登録し、プロンプト処理、チャット、埋め込み生成に使用できるようにします。Basic認証やリバースプロキシ用のカスタムヘッダーなど、さまざまな接続方法をサポートしています。

対象ユーザー

llm CLI ツールを使用し、ローカルまたはリモートの Ollama 管理モデルをワークフローに統合したい開発者や AI アイテック愛好家。

主な特徴

• マルチモーダル対応: 視覚対応モデルに画像添付をサポート。
• ツール使用: Ollama クラウド API を通じて組み込みのウェブ検索や fetch ツールを含む LLM ツールをサポート。
• 推論トレース: 「思考」モデルからの推論ステップを表示可能。非表示または無効化のオプションあり。
• 構造化出力: JSON スキーマを介して Ollama の構造化出力機能と統合。
• 非同期対応: Python の asyncio で使用可能な非同期 LLM モデルを提供。
• 柔軟な設定: Modelfile パラメータをオプションとしてサポートし、モデルエイリアスを自動的に処理。