pepperoni21/ollama-rs

解决的问题

提供一个简单易用的 Rust 库，用于与 Ollama API 交互，使开发者无需编写手动 HTTP 请求即可将本地 LLM 集成到 Rust 应用程序中。

工作原理

该库作为 Ollama API 的封装，提供请求和响应的类型化 Rust 结构体。支持多种交互模式，包括标准生成、流式响应，以及管理对话历史的聊天模式。还包含一个 Coordinator 用于工具使用（函数调用），该库可以执行通过 function 宏定义的本地 Rust 函数，并将结果反馈给 LLM。

适用人群

希望在软件项目中通过 Ollama 运行和管理本地 LLM 的 Rust 开发者。

特色亮点

• 完整 API 支持：涵盖生成、聊天、模型管理（创建、复制、删除、列出）和嵌入功能。
• 工具使用：包含 Coordinator 和 function 宏，可轻松创建和集成 LLM 的自定义工具。
• 流式传输：支持文本生成和模型创建的流式响应。
• 对话历史：内置对话历史追踪支持。
• 思考模式：支持提供“思考”过程输出的模型。