wfzyx/von

何を解決するか

Von は、分類、意図ルーティング、ガードレール検証などのタスクに使用される大規模言語モデル（LLM）を置き換える非自己回帰的決定モデルです。トークン単位のテキスト生成に伴う高遅延、メモリオーバーヘッド（KVキャッシュ）、および非決定論的なパースエラーを排除し、25ms未満で決定論的かつ統計的に校正された判断を提供します。

仕組み

ModernBERT-Large（395Mパラメータ）に基づき、Von は1回のフォワードパスで入力状態を特定の基準と照合する双方向アテンションヘッドを使用しています。決定のための3つの数学的プリミティブを実装しています：

• Choice: 相互排他的な仮説の正規化された確率分布を使用したカテゴリカルな決定。
• Noul: 条件が真であるかどうかを推定するための2値確率検証。
• Score: 嚮上性または品質レベルのシーケンスにおける期待値を計算する順序連続評価。

信頼性を確保するために、複合的な交差エントロピーとブライアスコア損失を使用した校正分布を用いた強化学習（RLCD）により、事後訓練が行われます。

対象ユーザー

高頻度のオペレーションパイプライン、リアルタイムインタラクティブシステム（ロボット工学やゲームなど）、高速で校正された決定論的なルーティングとトリアージを必要とするエージェントワークフローを開発する開発者。

特徴

• 超低遅延: 25ms未満の推論。自己回帰的LLMよりもはるかに高速。
• 非自己回帰的並列処理: 1回のパスで状態内の複数の独立した質問を同時に評価。
• 校正された不確実性: 温度スケーリングにより出力確率が真の予測信頼度を反映。
• ハードウェア非依存: NVIDIA CUDA、AMD ROCm、Apple Silicon MPS、CPU向けに最適化。
• SOTA性能: 実時間ViZDoomアリーナ戦闘および高精度マルチホップ推論ベンチマークで商用代替品を上回る。
• プロダクション対応: Python/TypeScript SDKと互換HTTPサーバー（von serve）を含む。