trymirai/uzu

A high-performance inference engine for AI models

解決的問題

uzu 是一個高效能的推論引擎，旨在讓開發者直接在其應用程式內部署 AI 模型。它消除對外部 API 呼叫的需求，從而移除推論成本，確保完整資料隱私，並透過本地執行模型提供零延遲回應。

工作原理

uzu 提供跨多種語言（Rust、Python、TypeScript 與 Swift）的高階 API，以管理整個模型生命週期。它負責模型發現、自動下載與推論設定。在 Apple 裝置上，透過利用統一記憶體來最佳化效能。它亦支援混合模式，允許開發者使用統一介面在本地裝置模型與雲端模型（如 OpenAI）之間切換。

目標對象

此引擎為希望在軟體中整合大型語言模型（LLM）的應用程式開發者打造，特別是 iOS、macOS 與跨平台應用，無需依賴雲端基礎設施或承擔每個 token 的費用。

重點特色

  • 多語言支援：提供 Rust、Python、TypeScript 與 Swift 的原生綁定。
  • 裝置端最佳化：專門利用 Apple 硬體的統一記憶體以提升效能。
  • 隱私與成本：本地執行確保資料不會離開裝置，並消除 API 費用。
  • 結構化輸出：支援使用 Grammar 與 JSON Schema，強制模型回傳有效且結構化的資料。
  • 混合彈性：統一的 API 同時支援本地裝置推論與雲端模型整合。