featherless-ai/simple-jev

何を解決するか

Simple Jev を使うことで、開発者は分類やスコアリングのためのオープンソース言語モデルを使用できます。別途分類器ヘッドを訓練する必要も、自己回帰テキスト生成の予測不能性に対処する必要もありません。モデルの次トークン確率（ロジット）から直接意思決定を抽出することで、文章やJSONの完了をパースする必要がなくなります。

動作方法

モデルに応答を生成させるのではなく、Simple Jev はプロンプトと質問のセットを送信します。サーバーは各質問に対する許可された回答ラベルのためのロジットを読み取ります。共通プレフィックス実行戦略を採用しており、共通のコンテキストを一度処理し、そのKVキャッシュを1バッチ内の複数の質問サフィックスに再利用することで、重複計算を大幅に削減します。

対象ユーザー

Hugging Face から入手可能なオープンソースモデルを使って、顧客メッセージのルーティング、基準に基づく緊急度スコアリング、真実性／支援判断などの高速で構造化された意思決定を必要とするアプリケーションを開発している開発者向けに設計されています。

特徴

• ロジットベースのスコアリング：テキスト生成を避け、次トークン確率から答えを抽出することで、パースエラーを回避します。
• KVキャッシュの再利用：共通コンテキストを一度処理し、複数の質問に再利用することで、入力トークン処理を削減します。
• 構造化された質問タイプ：choice（複数選択）、score（基準に基づくスコアリング）、noul（真実性／支援判断）をサポートします。
• RFDT（Really Fancy Decision Training）：回答トークンのロジット上で教師-生徒蒸留を用いて、特定の意思決定タスクに小型モデルをファインチューニングするためのツールを含みます。