receptron/laya
Run Laya, the open-source Jev-compatible System-1 decision model, from Node.js / TypeScript via ONNX Runtime
解决的问题
Laya 提供了一个专门的“系统 1”决策模型,可以在不生成自由文本的情况下执行分类和评分任务。它专为需要针对特定结果(如路由支持工单、评分紧急程度或检测流失风险)获得可靠、校准的概率,而非对话式响应的场景而设计。
工作原理
它在 Node.js 或 TypeScript 环境中使用 ONNX Runtime 在本地运行 Laya 模型。它不是标准的 LLM 生成循环,而是在单次前向传递中处理给定的输入状态(如 JSON 对象或电子邮件正文)和一组类型化问题。它返回带有相关置信度分数的结构化答案,确保输出在数学上与参考 Python 实现保持一致。
适用人群
在 TypeScript/Node.js 中构建自动化决策系统或分类流水线,且希望避免在生产环境中运行 Python 或 PyTorch 开销的开发者。
亮点
- 单次传递推理:在一次模型传递中同时处理多个分类或评分问题。
- 校准概率:为每个答案提供明确的置信度指标,包括是/否 (noul)、分类选择和评分标准。
- 零 Python 运行时:使用 ONNX Runtime 执行模型,消除了生产环境中对 Python 依赖的需求。
- 类型安全 API:提供直接映射到模型决策输出的原生 TypeScript 接口。
- 性能优化:专为速度设计,在 Apple Silicon 上单次批处理请求通常耗时约 140ms。
相关
- 项目
- Dispatch
- 项目
- 项目
- Dispatch