mizorewww/laya-coreml
Local Laya typed decisions on Apple Core ML and Neural Engine. Validated ports, ~5 ms short decisions on M3 Max, reproducible speed and energy benchmarks.
解决的问题
Laya-CoreML 提供了一种在 Apple Silicon 设备上高效运行本地决策 AI 模型的方法。与逐个生成文本标记的标准生成式 AI 模型不同,该工具通过单次前向传递输出特定选择、分数或是非题的校准概率。它消除了对 PyTorch 或 Transformers 等大型框架的需求,从而实现了更快的性能和更低的能耗。
工作原理
它将 Laya 模型权重转换为可在 CPU、GPU 或 Apple Neural Engine (ANE) 上原生运行的 Core ML 程序。当您提供提示词和一组约束条件(例如选项列表或评分标准)时,模型会分析输入并返回结构化的决策结果。由于它不是生成式模型,因此不会产生文本标记,也不需要 JSON 解析,非常适合自动化决策工作流。
适用对象
本项目适用于在 macOS 上构建本地高性能 AI 代理的开发者,他们需要快速、可靠的决策能力。它特别适用于需要低延迟响应的应用程序,例如游戏逻辑、路由或分类任务,在这些任务中,能源效率和本地执行是首要考虑因素。
主要亮点
- 零标记生成:直接返回选择、分数或命题的概率。
- 针对 Apple Silicon 优化:在特定配置下利用 Neural Engine 实现低于 5ms 的决策时间。
- 节能高效:比编译后的 MLX 替代方案功耗显著降低。
- 灵活集成:支持 CLI、HTTP 和 MCP 服务器模式,并可与 LangChain、LlamaIndex 等集成。
- 支持离线:通过固定模型包并禁止网络访问,实现完全本地化运行。
相关
- Dispatch
- 项目
- 项目
- Dispatch
- 项目