wfzyx/von

解決的問題

Von 是一種非自回歸決策模型，旨在取代大型語言模型（LLM）用於分類、意圖路由與防護閾值驗證等任務。它消除了逐 token 生成文字所帶來的高延遲、記憶體開銷（KV 快取）以及非決定性解析錯誤，可在 25ms 內提供決定性且統計校準的決策。

工作原理

基於 ModernBERT-Large（395M 參數），Von 使用雙向注意力頭在單次前向傳播中評估輸入狀態與特定標準的匹配度。它實現了三種用於決策的數學原語：

• Choice：使用互斥假設上的歸一化機率分佈進行分類決策。
• Noul：二元機率驗證，用於估計某個條件是否成立。
• Score：有序連續評分，計算在一系列嚴重性或品質等級上的期望值。

為確保可靠性，採用基於校準分佈的強化學習（RLCD）進行後訓練，優化準確率與機率校準（使用複合交叉熵與 Brier Score 損失）。

適用對象

構建高頻操作流水線、即時互動系統（如機器人或遊戲）以及需要快速、校準且決定性路由與分診的智能體工作流程的開發者。

亮點

• 超低延遲：推理時間低於 25ms，顯著快於自回歸 LLM。
• 非自回歸並行性：在一次前向傳播中同時評估狀態中的多個獨立問題。
• 校準的不確定性：透過溫度縮放，輸出機率反映真實的預測置信度。
• 硬體無關：針對 NVIDIA CUDA、AMD ROCm、Apple Silicon MPS 與 CPU 進行優化。
• SOTA 性能：在即時 ViZDoom 戰鬥競技場與高精度多跳推理基準測試中，優於商用替代方案。
• 生產就緒：包含 Python/TypeScript SDK 與相容的 HTTP 伺服器（von serve）。