ollama/ollama-python

解決する課題

Python開発者がOllamaと統合・対話するための合理化された方法を提供し、生のREST APIコールを記述することなく、ローカルまたはクラウド経由で大規模言語モデル（LLM）を実行および管理できるようにします。

仕組み

このライブラリは、Ollama REST APIのPythonラッパーとして機能します。リクエストを行うために、同期的な Client と AsyncClient の両方を提供します。ユーザーは chat や generate といった高レベルな関数を使用してモデルと対話したり、pull、push、create、delete といったコマンドを通じてモデルを管理したりできます。

対象者

自前のハードウェアでモデルを実行する場合でも、Ollamaのクラウドホストモデルを利用する場合でも、LLM機能が必要なアプリケーションを構築しているPython開発者。

ハイライト

• ローカルおよびクラウド対応: モデルをローカルで実行するか、APIキーを使用してOllamaのクラウドにオフロードする機能。
• 非同期サポート: 非ブロッキングリクエストのための AsyncClient と、ストリーミングレスポンスのための非同期ジェネレータが含まれています。
• 非同期ストリーミング: stream=True パラメータによるリアルタイムのレスポンスストリーミングをサポート。
• 包括的なモデル管理: モデルの pull、push、copy、delete、およびシステムプロンプトを使用したカスタムモデルの create を行うための組み込み関数。
• 埋め込みサポート: 単一の入力またはバッチテキストの埋め込みを生成する機能。