pepperoni21/ollama-rs

A simple and easy-to-use library for interacting with the Ollama API.

解决的问题

它提供了一个简单易用的 Rust 库来与 Ollama API 交互，让开发者无需编写原始 HTTP 请求即可将本地 LLM 集成到 Rust 应用程序中。

运作方式

该库作为 Ollama API 的封装，为各种操作提供类型安全的请求与响应。它通过 tokio 支持异步通信，并包含一个用于管理工具使用（函数调用）与聊天记录的 Coordinator。

适用对象

希望使用 Ollama 或兼容运行器（如 llmman）来执行与管理本地大型语言模型的 Rust 开发者。

特色亮点

  • 全面的 API 覆盖：支持补全生成、聊天模式、嵌入生成以及模型管理（创建、复制、删除）。
  • 流式支持：为文本生成与模型创建提供流式响应。
  • 函数调用：包含 Coordinator 与 function 宏，可轻松创建并附加自定义工具供 LLM 使用。
  • System One 集成：支持用于选择、是非题与评分问题的决策模型（如 nimble）。
  • 思考模式：支持提供内部推理/思考过程的模型。

相关

  • 项目
    ollama/ollama-python

    一个用于 Ollama LLM 服务器的 Python 客户端，提供简单的同步/异步聊天、生成、流式传输、嵌入、模型管理以及云端模型访问功能。

  • 项目
    ollama/ollama

    Ollama 是一个跨平台的开源平台，让您能通过 CLI、REST API 以及众多社区集成（网页 UI、桌面应用程序、IDE 扩展、代理程序、RAG 管线）在本地下载、运行并与大型语言模型交互。它建立在 llama.cpp 之上，为开发者、研究人员和企业提供保护隐私且具成本效益的 AI 能力。

  • Dispatch
    使用客户端技术构建 LLM 驱动的 Web 应用

    Ollama 探索了结合使用基于浏览器的工具和 Ollama 进行本地 LLM 执行，来构建完全本地的检索增强生成 (RAG) Web 应用的可行性。

  • 项目
    ollama4j/ollama4j

    Ollama4j 是一个 Java 库，封装了 Ollama 本地 LLM 服务器，提供文本生成、对话、工具调用、嵌入向量、图像输入、模型管理以及 Prometheus 指标。它通过 Maven Central/Gradle 发布，并可与任何 Java 项目集成。

  • Dispatch
    Ollama OpenAI 兼容性更新

    Ollama 引入了对 OpenAI Chat Completions API 的内置兼容性，允许用户使用现有的 OpenAI 兼容工具和库来运行本地模型。