razorback16/openjev

解决的问题

OpenJev 为从开源 AI 模型中获取类型化决策（是/否、多选、数值评分）提供了一种快速且校准的方法。与传统 LLM 生成文本后需进行解析不同，OpenJev 直接读取模型输出分布中的概率，确保答案始终遵循严格模式，绝不会“偏离模式”。

工作原理

OpenJev 主要利用 DiffusionGemma 等离散扩散模型。它不采用从左到右逐个生成文本 token 的方式，而是通过只读遍历，对仅掩码了答案槽位的“画布”进行去噪。这些槽位中标签（如 "yes"/"no" 或 "A"/"B"）的概率分布即为最终答案。

它还支持较小的双向编码器模型（如 Laya 和 Verdict），这些模型通过分类头在一次前向传播中提供选项的概率分布。

适用人群

专为需要从模型中获取高速、结构化决策的开发者设计，例如分类客户意图、判断紧急程度或评分情感，而无需承担文本解析带来的延迟或可靠性问题。

特性亮点

• 严格类型输出：支持 noul（是/否）、choice（多选）、score（数值等级）。
• 高性能：对短状态可在数十毫秒内返回答案。
• 校准置信度：基于模型自身的概率分布提供置信度分数，而非模型自我报告的数值。
• 多模态支持：可同时处理文本和图像以做出决策。
• 灵活部署：可通过 vLLM 在 NVIDIA GPU 上运行，或通过 MLX 在 Apple Silicon 上运行。