mizorewww/laya-mlx

Native MLX runtime for Laya typed decision models — 7–14 ms short decisions on M3 Max. No text generation, PyTorch, or cloud API.

它解决的问题

传统 AI 模型通常生成冗长的文本响应,速度慢且需要解析才能提取简单答案。Laya-MLX 通过在前向传播中直接输出预定义选项、评分等级或真/假判断的校准概率来解决此问题。这使得诸如路由支持工单、评分响应或检查陈述等决策变得极快(毫秒级),并避免了令牌生成和 JSON 解析的开销。它完全在 Apple Silicon 上本地运行,因此无需云 API,数据保持私有。

工作原理

您使用模式定义一组问题。每个问题都有一个类型:choice(从命名选项中选择一个)、score(按有序等级评分)或 noul(回答是/否)。您还可以提供说明,以及对于选择类型,提供每个选项的描述。然后,Laya-MLX 在您的输入上运行 Laya 模型(转换为 MLX 格式),并返回每个可能答案的概率以及置信度分数。模型不生成任何文本——它仅从编码器和决策头计算概率。该包包含多个预转换的检查点(用于英语、多语言和类型化决策工作流),可通过一行代码加载。它还提供诸如共享问题模式的批处理、语言路由、置信度门控,以及通过 CLI、HTTP 或 MCP 提供服务的工具。

适用人群

需要快速、本地和可靠决策的应用程序开发人员——例如,客户支持分类、自动审核、代理路由,或任何必须分类或判断而无需完整语言模型生成延迟的系统。它特别适合在 Apple Silicon 硬件上工作并希望进行私有、离线推理的人员。该库还与常见的代理框架(LangChain、LlamaIndex、CrewAI、Agno)集成,便于轻松融入现有工作流。

亮点

  • 在 Apple Silicon 上原生运行(M3 Max 基准测试:短英语决策 13.4 毫秒,多语言 7.4 毫秒)
  • 无需 PyTorch、Transformers 或云 API——完全本地推理
  • 支持选择、评分和是/否问题,并提供校准概率
  • 多个检查点:英语、多语言和类型化决策变体
  • 批处理和长文档扫描,实现高吞吐量(M3 Max 上高达 395 q/s)
  • 置信度门控,标记低置信度答案以供审查
  • 包含 CLI、HTTP 服务器、MCP 服务器以及评估/校准工具
  • 与 LangChain、LlamaIndex、CrewAI 和 Agno 集成
  • Apache-2.0 许可,附带详细基准和来源文档

相关

  • Dispatch
  • Dispatch
  • 项目
  • 项目
  • 项目