pepperoni21/ollama-rs
A simple and easy-to-use library for interacting with the Ollama API.
解決する課題
Ollama APIと対話するためのシンプルで使いやすいRustライブラリを提供し、開発者が生のHTTPリクエストを書くことなく、ローカルLLMをRustアプリケーションに統合できるようにします。
仕組み
このライブラリはOllama APIのラッパーとして機能し、さまざまな操作に対して型安全なリクエストとレスポンスを提供します。tokio を介した非同期通信をサポートし、ツール使用（関数呼び出し）とチャット履歴を管理するための Coordinator を含んでいます。
対象ユーザー
Ollamaや llmman のような互換性のあるランナーを使用して、ローカルの大規模言語モデルを実行・管理したいRust開発者。
主な特徴
- 包括的なAPIカバレッジ: 補完生成、チャットモード、埋め込み生成、およびモデル管理（作成、コピー、削除）をサポート。
- ストリーミングサポート: テキスト生成とモデル作成の両方でストリーミングレスポンスを提供。
- 関数呼び出し:
Coordinator と function マクロが含まれており、LLMが使用するカスタムツールを簡単に作成・追加可能。
- System One 統合: 選択、Yes/No、スコアリング問題のための意思決定モデル（
nimble など）をサポート。
- 思考モード: 内部的な推論や思考プロセスを提供するモデルをサポート。
関連
- プロジェクト
ollama/ollama-pythonOllamaのLLMサーバー用Pythonクライアント。同期/非同期のチャット、生成、ストリーミング、埋め込み、モデル管理、およびクラウドモデルへのアクセスを簡単に提供します。
- プロジェクト
ollama/ollamaOllamaは、CLI、REST API、および多数のコミュニティ統合（Web UI、デスクトップアプリ、IDE拡張機能、エージェント、RAGパイプライン）を通じて、大規模言語モデルをローカルでダウンロード、実行、対話できるクロスプラットフォームのオープンソースプラットフォームです。llama.cppをベースに構築されており、開発者、研究者、企業向けにプライバシーを保護し、コスト効率の高いAI機能を提供します。
- Dispatch
クライアントサイド技術を用いたLLM搭載Webアプリの構築Ollamaは、ブラウザベースのツールとローカルLLM実行のためのOllamaを組み合わせて、完全にローカルなRetrieval-Augmented Generation (RAG) Webアプリケーションを構築することの実現可能性を探索しています。
- プロジェクト
ollama4j/ollama4jOllama4jは、Ollama ローカル LLM サーバーをラップする Java ライブラリです。テキスト生成、チャット、ツール呼び出し、埋め込み、画像入力、モデル管理、および Prometheus メトリクスを提供します。Maven Central/Gradle を通じて配布されており、Java プロジェクトに統合可能です。
- Dispatch
Ollama OpenAI 互換性アップデートOllama は、OpenAI Chat Completions API との組み込みの互換性を備えるようになりました。これにより、ユーザーは既存の OpenAI 互換のツールやライブラリを使用して、ローカルモデルを実行できるようになります。