featherless-ai/simple-jev

解決的問題

Simple Jev 讓開發者能使用開源語言模型進行結構化分類與評分，無需訓練獨立的分類頭，也無需應對自回歸式文字生成的不可預測性。它透過直接從模型的下一個詞元機率（logits）中提取決策，消除對散文或 JSON 完成結果進行解析的需求。

工作原理

與要求模型生成回應不同，Simple Jev 傳送提示與一組問題。伺服器讀取每個問題對應允許答案標籤的特定 logits。它採用共享前綴執行策略，即共同上下文僅處理一次，其 KV 快取可在單一批次中的多個問題後綴間重複使用，大幅減少重複計算。

適用對象

專為需要使用 Hugging Face 的開源模型進行快速、結構化決策的應用開發人員設計，例如客戶訊息路由、基於評分標準的緊急程度評分，或進行真偽／支援性判斷。

特色亮點

• 基於 logits 的評分：從下一個詞元機率中提取答案，而非生成文字，避免解析錯誤。
• KV 快取重用：僅處理一次共享上下文，並在多個問題中重複使用，減少輸入詞元處理量。
• 結構化問題類型：支援 choice（多選）、score（基於評分標準的評分）和 noul（真偽／支援性判斷）。
• RFDT（Really Fancy Decision Training）：包含工具，可透過在答案詞元 logits 上使用教師-學生蒸餾，對小型模型在特定決策任務上進行微調。