Yinsongxu/LLM2Jev
Turn local language models into Jev-style structured decision models. Get results from text and images with prefill alone—no token-by-token decoding required.
LLM2Jev — 功能简介
LLM2Jev 是一个工具,可将现有的大型语言模型(LLM)或多模态模型(MLLM——也能理解图像的模型)转变为决策引擎。模型不再仅仅生成文本,而是可以回答结构化问题,如“这段文本属于哪个类别?”或“这张图像与这个指令匹配程度如何?”——而且这一切无需任何训练或微调。您保留当前的模型权重,并在其上添加决策能力。
这是一个独立的开源项目,与 Jev 或 TypeSafe(其模仿的“Jev 风格”决策格式背后的公司)无关。
核心能力
- 四种问题类型,可在一次请求中混合使用:
Choice— 从一组选项中选择一个,并获取每个选项的概率。Score— 根据评分标准对某事物进行评分。Noul— 是/否概率。Box— 在图像中定位目标,返回归一化的边界框坐标。
- 支持文本和图像: 您可以在
state(情境)或instructions(要评估的内容)中放置图像和文本。 - 快速、仅预填充评分: 对于
Choice、Score和Noul,模型读取相关的 logits(原始预测分数),而无需生成完整答案。只有Box实际生成坐标。这使得决策比正常文本生成快得多。 - 共享基础设施: 聊天和决策在同一模型和服务上运行(使用 SGLang 后端),您通过一个扩展了官方 OpenAI SDK 的 Python 客户端调用两者——因此您保留熟悉的接口、认证、超时和重试机制。
支持的后端
LLM2Jev 支持三种模型服务后端:
- SGLang — 适用于 Linux 上的 NVIDIA GPU(快速入门路径)。
- Transformers — 标准的 Hugging Face 流水线。
- MLX — 适用于 Apple Silicon Mac。
三者都支持文本和图像评分,SGLang 和 MLX 后端还提供兼容的 HTTP 端点(POST /v1/systemone)。
为何快速:共享前缀复用
当您对相同的 state(例如,“我的卡被扣了两次款”)提出多个问题时,所有候选都共享该文本。LLM2Jev 利用这一点:
- 使用 SGLang,它首先对一个真实的“标准”候选进行评分以预热 Radix Cache,然后提交其余候选,使它们复用缓存的公共前缀——避免重复计算。
- 使用 MLX,它在对每个候选后缀进行评分之前显式预填充共享前缀。
这种“分阶段”方法显著减少了长输入和多个候选的计算量,并且两个后端保持相同的二进制评分接口。
快速入门(Linux 上的 SGLang)
- 克隆仓库,使用
uv sync --extra sglang安装。 - 启动服务器:
llm2jev-serve --backend sglang --model-path /path/to/model \ --served-model-name local-model --host 127.0.0.1 --port 30000 - 在 Python 中,使用一个客户端进行决策和聊天:
from llm2jev import Client, Choice client = Client(base_url="http://localhost:30000/v1", api_key="unused") decision = client.systemone.create( model="local-model", state="My card was charged twice.", questions={"department": Choice(criteria={ "billing": "Charges and billing", "shipping": "Delivery", })}, ) print(decision.choices["department"].probabilities) chat = client.chat.completions.create( model="local-model", messages=[{"role": "user", "content": "How can I request a refund?"}], ) print(chat.choices[0].message.content)
演示
仓库中包含的交互式示例:
- Web 演示 — 在浏览器中提交问题并检查概率。
- 贪吃蛇演示 — 模型做出移动决策的游戏。
- MuJoCo 抓取放置 — 由模型决策驱动的机器人手臂任务。
- Valen Sokoban — 带有单步动作评估的视觉推箱子谜题。
基准测试(来自 README)
- JevBench 公开准确率: 231 个公开项目,LLM2Jev 使用 Qwen3.5-4B 达到 76.2% 的准确率。
- 延迟: LLM2Jev P50 48 毫秒 / P95 346 毫秒,而 Jev 1.13.0 的 P50 652 毫秒 / P95 722 毫秒——中位数快 10 倍以上。
- Valen-Eval-Game: 500 个图像条件下的推箱子问题,使用多模态
Choice流水线测量平局感知的最优动作准确率。
注意:README 指出,性能提升取决于输入长度、候选数量和缓存状态。
路线图状态
- ✅ 交互式 Web 演示
- ✅ 对 Transformers 和 SGLang 的初始本地图像支持
- ✅ 更多多模态任务和演示
- ⬜ 更多跨模型大小、数据集和工作负载的基准测试(决策质量、延迟、吞吐量)
许可证
Apache License 2.0。
以上所有事实均直接取自项目 README。未添加 README 中未提及的功能或数字。
相关
- 项目
- 项目
- Dispatch
- 项目
- 项目