ollama/ollama-python

解决的问题

它为 Python 开发人员提供了一种简化与 Ollama 集成和交互的方法，允许他们在无需编写原始 REST API 调用的情况下，在本地或通过云端运行和管理大型语言模型 (LLM)。

工作原理

该库充当 Ollama REST API 的 Python 封装。它提供同步的 Client 和异步的 AsyncClient 用于发送请求。用户可以使用 chat 和 generate 等高级函数与模型进行交互，并可以通过 pull、push、create 和 delete 等命令管理模型。

适用对象

构建需要 LLM 能力的应用程序的 Python 开发人员，无论是在自己的硬件上运行模型，还是利用 Ollama 的云托管模型。

亮点

• 本地与云端支持：能够在本地运行模型，或使用 API 密钥将任务卸载到 Ollama 云端。
• 异步支持：包含用于非阻塞请求的 AsyncClient 和用于流式响应的异步生成器。
• 异步流式传输：支持通过 stream=True 参数进行实时响应流式传输。
• 全面的模型管理：内置了用于 pull、push、copy、delete 以及使用系统提示词 create 自定义模型的功能。
• 嵌入支持：具备为单个输入或批量文本生成嵌入的能力。