Yinsongxu/LLM2Jev

Turn local language models into Jev-style structured decision models. Get results from text and images with prefill alone—no token-by-token decoding required.

LLM2Jev — 功能简介

LLM2Jev 是一个工具,可将现有的大型语言模型(LLM)或多模态模型(MLLM——也能理解图像的模型)转变为决策引擎。模型不再仅仅生成文本,而是可以回答结构化问题,如“这段文本属于哪个类别?”或“这张图像与这个指令匹配程度如何?”——而且这一切无需任何训练或微调。您保留当前的模型权重,并在其上添加决策能力。

这是一个独立的开源项目,与 Jev 或 TypeSafe(其模仿的“Jev 风格”决策格式背后的公司)无关。


核心能力

  • 四种问题类型,可在一次请求中混合使用:
    • Choice — 从一组选项中选择一个,并获取每个选项的概率。
    • Score — 根据评分标准对某事物进行评分。
    • Noul — 是/否概率。
    • Box — 在图像中定位目标,返回归一化的边界框坐标。
  • 支持文本和图像: 您可以在 state(情境)或 instructions(要评估的内容)中放置图像和文本。
  • 快速、仅预填充评分: 对于 Choice、Score 和 Noul,模型读取相关的 logits(原始预测分数),而无需生成完整答案。只有 Box 实际生成坐标。这使得决策比正常文本生成快得多。
  • 共享基础设施: 聊天和决策在同一模型和服务上运行(使用 SGLang 后端),您通过一个扩展了官方 OpenAI SDK 的 Python 客户端调用两者——因此您保留熟悉的接口、认证、超时和重试机制。

支持的后端

LLM2Jev 支持三种模型服务后端:

  • SGLang — 适用于 Linux 上的 NVIDIA GPU(快速入门路径)。
  • Transformers — 标准的 Hugging Face 流水线。
  • MLX — 适用于 Apple Silicon Mac。

三者都支持文本和图像评分,SGLang 和 MLX 后端还提供兼容的 HTTP 端点(POST /v1/systemone)。


为何快速:共享前缀复用

当您对相同的 state(例如,“我的卡被扣了两次款”)提出多个问题时,所有候选都共享该文本。LLM2Jev 利用这一点:

  • 使用 SGLang,它首先对一个真实的“标准”候选进行评分以预热 Radix Cache,然后提交其余候选,使它们复用缓存的公共前缀——避免重复计算。
  • 使用 MLX,它在对每个候选后缀进行评分之前显式预填充共享前缀。

这种“分阶段”方法显著减少了长输入和多个候选的计算量,并且两个后端保持相同的二进制评分接口。


快速入门(Linux 上的 SGLang)

  1. 克隆仓库,使用 uv sync --extra sglang 安装。
  2. 启动服务器:
    llm2jev-serve --backend sglang --model-path /path/to/model \
      --served-model-name local-model --host 127.0.0.1 --port 30000
    
  3. 在 Python 中,使用一个客户端进行决策和聊天:
    from llm2jev import Client, Choice
    
    client = Client(base_url="http://localhost:30000/v1", api_key="unused")
    
    decision = client.systemone.create(
        model="local-model",
        state="My card was charged twice.",
        questions={"department": Choice(criteria={
            "billing": "Charges and billing", "shipping": "Delivery",
        })},
    )
    print(decision.choices["department"].probabilities)
    
    chat = client.chat.completions.create(
        model="local-model",
        messages=[{"role": "user", "content": "How can I request a refund?"}],
    )
    print(chat.choices[0].message.content)
    

演示

仓库中包含的交互式示例:

  • Web 演示 — 在浏览器中提交问题并检查概率。
  • 贪吃蛇演示 — 模型做出移动决策的游戏。
  • MuJoCo 抓取放置 — 由模型决策驱动的机器人手臂任务。
  • Valen Sokoban — 带有单步动作评估的视觉推箱子谜题。

基准测试(来自 README)

  • JevBench 公开准确率: 231 个公开项目,LLM2Jev 使用 Qwen3.5-4B 达到 76.2% 的准确率。
  • 延迟: LLM2Jev P50 48 毫秒 / P95 346 毫秒,而 Jev 1.13.0 的 P50 652 毫秒 / P95 722 毫秒——中位数快 10 倍以上。
  • Valen-Eval-Game: 500 个图像条件下的推箱子问题,使用多模态 Choice 流水线测量平局感知的最优动作准确率。

注意:README 指出,性能提升取决于输入长度、候选数量和缓存状态。


路线图状态

  • ✅ 交互式 Web 演示
  • ✅ 对 Transformers 和 SGLang 的初始本地图像支持
  • ✅ 更多多模态任务和演示
  • ⬜ 更多跨模型大小、数据集和工作负载的基准测试(决策质量、延迟、吞吐量)

许可证

Apache License 2.0。


以上所有事实均直接取自项目 README。未添加 README 中未提及的功能或数字。

相关

  • 项目
  • 项目
  • Dispatch
  • 项目
  • 项目