featherless-ai/simple-jev

Turn any open model into a classifier/jev endpoint

解決する課題

Simple Jevを使用すると、別の分類ヘッドをトレーニングすることなく、オープンソースの言語モデルを使用して構造化された分類とスコアリングを実行できます。モデルがテキストやJSONの応答をトークンごとに生成・解析する必要がなくなるため、レイテンシが削減され、出力が常に厳密なスキーマに従うことが保証されます。

仕組み

自己回帰生成の代わりに、モデルの次のトークンのロジット(次の可能なトークンの生の確率スコア)を使用して回答を決定します。

  1. 共有コンテキスト: サーバーは共通の入力(状態やチャット履歴)を一度処理し、KVキャッシュを保存します。
  2. 分岐: リクエスト内の各質問に対して個別のスコアリングブランチを作成し、共有プレフィックスを再利用して冗長な計算を回避します。
  3. ロジットスコアリング: サーバーは許可された特定の回答ラベルのロジットを読み取り、それらを正規化して、選択肢、ルーブリックスコア、または真偽判定を含むJSON応答を構築します。

対象ユーザー

LLMから高速で構造化された意思決定(ルーティング、緊急度スコアリング、ファクトチェックなど)を必要とし、JSON生成・解析のオーバーヘッドや不安定さを回避したい開発者。

ハイライト

  • プリフィルのみのスコアリング: 次のトークンのロジットを使用することでデコードループを完全に回避し、トークン処理のオーバーヘッドを大幅に削減します。
  • 選択、スコア、Noul: 3つの異なる質問タイプをサポート:多肢選択(最大255オプション)、ルーブリックベースのスコアリング(最大50レベル)、真偽/サポート判定 (Noul)。
  • KVキャッシュの再利用: 単一リクエスト内の複数の質問間で共有コンテキストを一度処理することでパフォーマンスを最適化します。
  • モデル非依存: Qwen、Gemma、LLaVAファミリーのビジョンモデルなど、Hugging Face上のさまざまなオープンモデルと互換性があります。
  • 評価ツール: プロンプト検索と精度ベンチマークのためのフレームワーク (JevBench) が含まれています。

関連

  • Dispatch
  • プロジェクト
  • Dispatch
  • プロジェクト