trymirai/uzu
A high-performance inference engine for AI models
解决的问题
uzu 是一个高性能的推理引擎，旨在让开发者直接在其应用程序内部署 AI 模型。它消除对外部 API 调用的需求，从而移除推理成本，确保完整数据隐私，并通过本地执行模型提供零延迟响应。
工作原理
uzu 提供跨多种语言（Rust、Python、TypeScript 与 Swift）的高级 API，以管理整个模型生命周期。它负责模型发现、自动下载与推理配置。在 Apple 设备上，通过利用统一内存来优化性能。它亦支持混合模式，允许开发者使用统一接口在本地设备模型与云端模型（如 OpenAI）之间切换。
适用对象
此引擎为希望在软件中整合大型语言模型（LLM）的应用程序开发者打造，特别是 iOS、macOS 与跨平台应用，无需依赖云端基础设施或承担每个 token 的费用。
亮点
- 多语言支持：提供 Rust、Python、TypeScript 与 Swift 的原生绑定。
- 设备端优化：专门利用 Apple 硬件的统一内存以提升效率。
- 隐私与成本：本地执行确保数据不离开设备，并消除 API 费用。
- 结构化输出：支持使用 Grammar 与 JSON Schema，强制模型返回有效且结构化的数据。
- 混合灵活性：统一的 API 同时支持本地设备推理与云端模型集成。