taketwo/llm-ollama

何を解決するか

このプロジェクトは llm コマンドラインツール用のプラグインを提供し、ローカル、リモートホスト、または Ollama のホスティングクラウドサービス上で実行中の Ollama サーバーにホストされたモデルにアクセスして操作できるようにします。

動作方法

このプラグインは OLLAMA_HOST 環境変数を介して Ollama サーバーに接続します。サーバー上で利用可能なモデルを自動的に検出し、llm ツールに登録します。ワンショットプロンプト、インタラクティブチャットセッション、埋め込み生成など、さまざまな操作モードをサポートしています。また、Ollama の Modelfile パラメータを llm ツールのオプションフラグ（-o）にマッピングし、温度やコンテキストウィンドウサイズなどのモデル動作を微調整できます。

対象ユーザー

llm CLI ツールを使用し、ローカルまたはリモートの Ollama 管理モデルをワークフローに統合したい開発者や AI アイテューシアスト。

主な特徴

• マルチモーダル対応: 視覚対応モデルに画像添付をサポート。
• ツール使用: モデルにツールを渡すことができ、Ollama API を通じてウェブ検索やウェブ取得の組み込みツールをサポート。
• 構造化出力: JSON スキーマを介して Ollama の構造化出力機能と統合。
• 非同期対応: Python の asyncio ライブラリで使用可能な非同期 LLM モデルを提供。
• 柔軟な接続性: ローカル、リモート（Basic Auth およびカスタムヘッダー対応）、クラウドホスティングされた Ollama サーバーをすべてサポート。