pepperoni21/ollama-rs

何を解決するか

Ollama API とのやり取りに使用できるシンプルで使いやすい Rust ライブラリを提供し、手動の HTTP リクエストを書かずに、Rust アプリケーションにローカル LLM を統合できるようにします。

動作方法

このライブラリは Ollama API のラッパーとして機能し、リクエストとレスポンス用の型付き Rust 構造体を提供します。標準的な生成、ストリーミング応答、会話履歴を管理するチャットモードなど、さまざまな操作モードをサポートしています。また、ツール使用（関数呼び出し）用の Coordinator と function マクロを備えており、ローカル Rust 関数（function マクロで定義）を実行し、その結果を LLM にフィードバックできます。

対象ユーザー

Ollama を通じてソフトウェアプロジェクトでローカル LLM を実行・管理したい Rust 開発者です。

特徴

• 完全な API サポート：生成、チャット、モデル管理（作成、コピー、削除、一覧表示）、埋め込みをカバー。
• ツール使用：Coordinator と function マクロを備えており、LLM 用にカスタムツールを簡単に作成・統合できます。
• ストリーミング：テキスト生成とモデル作成の両方でストリーミング応答をサポート。
• 会話履歴：会話履歴の追跡を内蔵サポート。
• 思考モード：「思考プロセス」の出力を提供するモデルに対応。