ollama/ollama-python

解決的問題

它為 Python 開發人員提供了一種簡化與 Ollama 集成和互動的方法，允許他們在無需編寫原始 REST API 呼叫的情況下，在本地或透過雲端執行並管理大型語言模型 (LLM)。

工作原理

該函式庫充當 Ollama REST API 的 Python 封裝。它提供同步的 Client 和非同步的 AsyncClient 用於發送請求。使用者可以使用 chat 和 generate 等高階函式與模型進行互動，並可以透過 pull、push、create 和 delete 等指令管理模型。

適用對象

構建需要 LLM 能力的應用程式的 Python 開發人員，無論是在自己的硬體上執行模型，還是利用 Ollama 的雲端託管模型。

亮點

• 本地與雲端支援：能夠在本地執行模型，或使用 API 金鑰將任務卸載到 Ollama 雲端。
• 非同步支援：包含用於非阻塞請求的 AsyncClient 和用於串流回應的非同步生成器。
• 非同步串流：支援透過 stream=True 參數進行即時回應串流。
• 全面的模型管理：內建用於 pull、push、copy、delete 以及使用系統提示詞 create 自定義模型的功能。
• 嵌入支援：具備為單個輸入或批次文本生成嵌入的能力。