receptron/laya

解决的问题

Laya 是一个“系统 1”决策模型，专为快速、单次传递的分类与评分而设计。与传统生成文本的 LLM 不同，Laya 专注于为特定类型的问题提供校准过的概率：选择选项、根据评分标准给分，或判断是非题的概率。

运作方式

本项目为 Laya 模型提供了 Node.js/TypeScript 包装器，使其能通过 ONNX Runtime 在本地执行。这消除了运行时对 PyTorch 与 Python 的依赖。模型会在单次前向传递中处理状态（例如工单或电子邮件）与一组类型化问题，并为每个答案返回校准过的概率。

适用对象

使用 Node.js 或 TypeScript 的开发者，若需要在应用程序中整合快速且校准过的决策能力，而无需使用完整的文本生成 LLM。

特点

• 单次传递决策：在一次前向传递中返回多个问题的答案。
• 校准过的概率：为选项、分数与是非题提供精确的概率分布。
• ONNX Runtime 集成：在 Node.js/TypeScript 中执行，无需 Python 或 PyTorch。
• 高性能：在 Apple-silicon CPU 上，包含三个问题的单次调用大约只需 140ms。
• 可自定义：支持加载本地 ONNX 套件或特定的 Hugging Face 检查点。