wfzyx/von

解决的问题

Von 是一种非自回归决策模型，旨在替代大型语言模型（LLM）用于分类、意图路由和护栏验证等任务。它消除了逐 token 生成文本带来的高延迟、内存开销（KV 缓存）以及非确定性解析错误，可在 25ms 内提供确定性且统计校准的决策。

工作原理

基于 ModernBERT-Large（395M 参数），Von 使用双向注意力头在单次前向传播中评估输入状态与特定标准的匹配度。它实现了三种用于决策的数学原语：

• Choice：使用互斥假设上的归一化概率分布进行分类决策。
• Noul：二元概率验证，用于估计某个条件是否成立。
• Score：有序连续评分，计算在一系列严重性或质量等级上的期望值。

为确保可靠性，采用基于校准分布的强化学习（RLCD）进行后训练，优化准确率和概率校准（使用复合交叉熵与 Brier Score 损失）。

适用人群

构建高频操作流水线、实时交互系统（如机器人或游戏）以及需要快速、校准且确定性路由与分诊的智能体工作流的开发者。

亮点

• 超低延迟：推理时间低于 25ms，显著快于自回归 LLM。
• 非自回归并行性：在一次前向传播中同时评估状态中的多个独立问题。
• 校准的不确定性：通过温度缩放，输出概率反映真实的预测置信度。
• 硬件无关：针对 NVIDIA CUDA、AMD ROCm、Apple Silicon MPS 和 CPU 进行优化。
• SOTA 性能：在实时 ViZDoom 战斗竞技场和高精度多跳推理基准测试中优于商用替代方案。
• 生产就绪：包含 Python/TypeScript SDK 和兼容的 HTTP 服务器（von serve）。