trymirai/uzu

uzu 是一个高性能推理引擎，让开发者能直接在应用程序内运行 AI 模型——在设备端运行，无需云端往返。它专为零延迟、完整数据隐私与零推理成本而建，并设计支持 Rust、Python、Swift 与 TypeScript。

功能特色：

• 下载模型（例如 alibaba:qwen3.5:0.8b:mirai:mirai-m:4）并在本地执行对话。
• 提供简单的高阶 API：创建 Engine、获取模型、下载模型、启动 ChatSession 并发送消息。
• 支持流式回复、工具调用、结构化输出，以及作为替代方案的云端模型（例如通过 OpenAI API 使用 GPT‑5）。
• 在 Apple 设备上使用统一内存以实现高效的模型加载。
• 包含可追踪的计算，以验证与参考实现的一致性。

运作方式（参考示例）：

1. 创建 EngineConfig 与 Engine。
2. 通过标识符搜索模型，并在下载时获取进度更新。
3. 启动对话会话，发送 ChatMessage 列表（系统、用户等），并获取回复——可一次性获取或以流式方式获取。
4. 对多个请求重复使用同一个会话；一次仅加载一个模型以管理 RAM。

适用对象： 需要私密、快速、离线 AI 功能的应用程序开发者（特别是 iOS/macOS）——例如聊天机器人、助手或任何需要本地推理的功能。此项目采用 MIT 授权并持续维护，提供多语言绑定与完整的 API 文档。