receptron/laya

Run Laya, the open-source Jev-compatible System-1 decision model, from Node.js / TypeScript via ONNX Runtime

解决的问题

Laya 提供了一个专门的“系统 1”决策模型,可以在不生成自由文本的情况下执行分类和评分任务。它专为需要针对特定结果(如路由支持工单、评分紧急程度或检测流失风险)获得可靠、校准的概率,而非对话式响应的场景而设计。

工作原理

它在 Node.js 或 TypeScript 环境中使用 ONNX Runtime 在本地运行 Laya 模型。它不是标准的 LLM 生成循环,而是在单次前向传递中处理给定的输入状态(如 JSON 对象或电子邮件正文)和一组类型化问题。它返回带有相关置信度分数的结构化答案,确保输出在数学上与参考 Python 实现保持一致。

适用人群

在 TypeScript/Node.js 中构建自动化决策系统或分类流水线,且希望避免在生产环境中运行 Python 或 PyTorch 开销的开发者。

亮点

  • 单次传递推理:在一次模型传递中同时处理多个分类或评分问题。
  • 校准概率:为每个答案提供明确的置信度指标,包括是/否 (noul)、分类选择和评分标准。
  • 零 Python 运行时:使用 ONNX Runtime 执行模型,消除了生产环境中对 Python 依赖的需求。
  • 类型安全 API:提供直接映射到模型决策输出的原生 TypeScript 接口。
  • 性能优化:专为速度设计,在 Apple Silicon 上单次批处理请求通常耗时约 140ms。

相关

  • 项目
  • Dispatch
  • 项目
  • 项目
  • Dispatch