NandhaKishorM/laya
Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.
它解决了什么问题
传统的利用大语言模型进行决策(例如路由支持工单)的系统通常需要先生成句子再进行解析,这不仅速度慢、容易出错,还可能产生幻觉。Laya 完全避免了这一点:它接收一段文本,并在单次前向传递中直接输出结构化答案(列表中的选项、评分或是/否概率)。这使得决策过程既快速(每个问题 33 毫秒)又可靠,甚至支持 100 多种语言。
工作原理
Laya 使用仅编码器(encoder-only)的 transformer 模型(ModernBERT 和 mBERT),并使用一种称为 RLCD 的强化学习技术进行微调。该技术针对严格的评分规则进行优化,确保输出概率经过良好校准。它不是逐个 token 生成文本,而是处理整个输入并在一步内预测类型化问题的答案。Router 首先检测输入的语言和脚本,然后自动选择最佳检查点:英语、多语言或专门的类型化决策模型。该库支持三种问题类型:choice(选择一个类别)、score(按量表排名)和 noul(给出答案为“是”的概率)。它还处理长达 8,192 个 token 的长文档,并可以针对您自己的领域数据进行微调以提高准确性。
适用人群
适用于需要快速可靠地将用户消息、支持工单、电子邮件或任何中短文本分类为结构化决策的开发者,特别是在多语言环境中。它对于分类、内容审核、意图分类以及作为 LangChain、LlamaIndex 或 CrewAI 等代理框架中的快速路由层非常有用。它也适用于需要校准(了解模型置信度)并希望避免文本生成带来的延迟和脆弱性的应用。
亮点
- 单次前向传递:无文本生成,无解析,无幻觉。
- 极速:每个问题 33 毫秒,批量处理时每个问题 7.2 毫秒(在 T4 GPU 上)。
- 多语言:支持 100 多种语言,配有专用检查点;自动语言检测和路由。
- 三个预训练检查点(英语、多语言、类型化决策),路由器可根据请求选择合适的模型。
- 针对特定领域决策的微调可显著提高准确性(例如:0.766 对比基准 0.362)。
- 多语言模型支持长达 8,192 个 token 的长上下文。
- 广泛集成:Python、TypeScript、Rust 和 .NET SDK,以及 LangChain、LlamaIndex、CrewAI 和 ONNX 运行时。
- 还包含用于快速测试和批量处理的 CLI。
相关
- Dispatch
- 项目
- 项目
- Dispatch
- 项目