pepperoni21/ollama-rs

解決的問題

提供一個簡單易用的 Rust 庫，用於與 Ollama API 互動，讓開發者無需手動撰寫 HTTP 請求，即可將本地 LLM 集成至 Rust 應用程式中。

工作原理

此庫作為 Ollama API 的封裝，提供請求與回應的型別化 Rust 結構。支援多種互動模式，包括標準生成、串流回應，以及管理對話歷史的聊天模式。還包含一個 Coordinator 用於工具使用（函數呼叫），該庫可執行透過 function 宏定義的本地 Rust 函數，並將結果回饋給 LLM。

適用對象

希望在軟體專案中透過 Ollama 執行與管理本地 LLM 的 Rust 開發者。

特色亮點

• 完整 API 支援：涵蓋生成、聊天、模型管理（建立、複製、刪除、列出）與嵌入功能。
• 工具使用：包含 Coordinator 與 function 宏，可輕鬆建立與整合 LLM 的自訂工具。
• 串流傳輸：支援文字生成與模型建立的串流回應。
• 對話歷史：內建對話歷史追蹤支援。
• 思考模式：支援提供「思考」過程輸出的模型。