Yinsongxu/LLM2Jev

Turn local language models into Jev-style structured decision models. Get results from text and images with prefill alone—no token-by-token decoding required.

LLM2Jev — 機能概要

LLM2Jev は、既存の大規模言語モデル(LLM)またはマルチモーダルモデル(MLLM — 画像も理解するモデル)を意思決定エンジンに変えるツールです。テキストを生成するだけでなく、モデルは「このテキストはどのカテゴリに属するか?」や「この画像はこの指示にどの程度一致するか?」といった構造化された質問に答えることができます。しかも、トレーニングやファインチューニングは一切不要です。現在のモデル重みを維持したまま、その上に意思決定機能を追加します。

これは独立したオープンソースプロジェクトであり、Jev や TypeSafe(模倣する「Jev スタイル」の意思決定形式の背後にある企業)とは関係ありません。


主な機能

  • 4 種類の質問タイプを 1 リクエストで混在可能:
    • Choice — セットから 1 つのオプションを選択し、各オプションの確率を取得。
    • Score — ルーブリックに基づいて何かを評価。
    • Noul — はい/いいえの確率。
    • Box — 画像内のターゲットを特定し、正規化されたバウンディングボックス座標を返す。
  • テキストと画像に対応: state(状況)や instructions(評価対象)に画像とテキストを配置できます。
  • 高速なプリフィル専用スコアリング: Choice、Score、Noul では、モデルは完全な回答を生成せずに関連するロジット(生の予測スコア)を読み取ります。Box のみが実際に座標を生成します。これにより、通常のテキスト生成よりもはるかに高速に意思決定が可能です。
  • 共有インフラストラクチャ: チャットと意思決定は同じモデルとサービス(SGLang バックエンド)で実行され、公式 OpenAI SDK を拡張した単一の Python クライアントを介して両方を呼び出します。そのため、使い慣れたインターフェース、認証、タイムアウト、リトライを維持できます。

サポートされているバックエンド

LLM2Jev は 3 つのモデルサービングバックエンドで動作します:

  • SGLang — Linux 上の NVIDIA GPU 向け(クイックスタートパス)。
  • Transformers — 標準の Hugging Face パイプライン。
  • MLX — Apple Silicon Mac 向け。

3 つすべてがテキストと画像のスコアリングをサポートし、SGLang と MLX バックエンドは互換性のある HTTP エンドポイント(POST /v1/systemone)も公開します。


高速化の仕組み:共有プレフィックス再利用

同じ state(例:「私のカードが二重に請求されました」)について複数の質問をする場合、すべての候補がそのテキストを共有します。LLM2Jev はこれを活用します:

  • SGLang では、まず実際の「基準」候補をスコアリングして Radix Cache をウォームアップし、その後、残りの候補を送信してキャッシュされたプレフィックスを再利用させ、繰り返し計算を回避します。
  • MLX では、各候補サフィックスをスコアリングする前に共有プレフィックスを明示的にプリフィルします。

この「段階的」アプローチにより、長い入力と多数の候補で作業量が大幅に削減され、両バックエンドは同じバイナリスコアリングインターフェースを維持します。


クイックスタート(Linux 上の SGLang)

  1. リポジトリをクローンし、uv sync --extra sglang でインストールします。
  2. サーバーを起動します:
    llm2jev-serve --backend sglang --model-path /path/to/model \
      --served-model-name local-model --host 127.0.0.1 --port 30000
    
  3. Python では、意思決定とチャットの両方に 1 つのクライアントを使用します:
    from llm2jev import Client, Choice
    
    client = Client(base_url="http://localhost:30000/v1", api_key="unused")
    
    decision = client.systemone.create(
        model="local-model",
        state="My card was charged twice.",
        questions={"department": Choice(criteria={
            "billing": "Charges and billing", "shipping": "Delivery",
        })},
    )
    print(decision.choices["department"].probabilities)
    
    chat = client.chat.completions.create(
        model="local-model",
        messages=[{"role": "user", "content": "How can I request a refund?"}],
    )
    print(chat.choices[0].message.content)
    

デモ

リポジトリに含まれるインタラクティブな例:

  • Web デモ — ブラウザで質問を送信し、確率を確認。
  • スネークデモ — モデルが移動の意思決定を行うゲーム。
  • MuJoCo ピックアンドプレース — モデルの意思決定によって駆動されるロボットアームタスク。
  • Valen Sokoban — 単一ステップのアクション評価を備えたビジュアルな倉庫番パズル。

ベンチマーク(README より)

  • JevBench 公開精度: 231 の公開アイテムで、Qwen3.5-4B を使用した LLM2Jev は 76.2% の精度を達成。
  • レイテンシ: LLM2Jev P50 48 ミリ秒 / P95 346 ミリ秒、Jev 1.13.0 の P50 652 ミリ秒 / P95 722 ミリ秒 と比較して、中央値で 10 倍以上高速。
  • Valen-Eval-Game: 500 の画像条件付き倉庫番問題で、マルチモーダル Choice パイプラインを使用してタイブレーク対応の最適アクション精度を測定。

注:README には、性能向上は入力長、候補数、キャッシュ状態に依存すると記載されています。


ロードマップの状況

  • ✅ インタラクティブな Web デモ
  • ✅ Transformers と SGLang の初期ローカル画像サポート
  • ✅ より多くのマルチモーダルタスクとデモ
  • ⬜ モデルサイズ、データセット、ワークロードにわたるさらなるベンチマーク(意思決定品質、レイテンシ、スループット)

ライセンス

Apache License 2.0。


上記のすべての事実は、プロジェクトの README から直接取得しています。README に記載されていない機能や数値は追加していません。

関連

  • プロジェクト
  • プロジェクト
  • Dispatch
  • プロジェクト
  • プロジェクト