jaredpalmer/kev

解決的問題

kev 是一種設計用於取代傳統文字生成的分類與評分任務的決策模型。它不產生散文（這可能較慢且不一致），而是為特定問題類型提供校準後的機率，從而實現從單一文件中快速、可靠且結構化的決策。

工作原理

本專案使用 Qwen 基礎模型（參數量從 0.5B 到 8B 不等），搭配 LoRA 適配器與自訂指標讀取頭。它在一次「預填入」（prefill）過程中處理文件與多個問題，無需任何解碼。

主要技術機制包括：

• 區塊因果遮罩：確保每個問題都能看見文件，但問題之間無法相互看見，從而保持嚴格隔離。
• 打包：將狀態（文件）與所有問題打包成一個序列，使模型能夠並行回答多個問題。
• 指標讀取：專用頭將選項標記與決策標記進行評分，並應用 softmax 生成機率而非文字。
• 訓練：使用標記結果進行交叉熵訓練，確保輸出機率被學習並校準。

適用對象

適用於需要高效率、結構化決策 API（相容 TypeSafe 的 System One 合約）的開發者與研究人員，該 API 可在筆電上本地運行，也可於雲端訓練。

亮點

• 三種問題類型：支援 noul（是/否）、choice（多選）、score（有序等級）。
• 高效率：一次前向傳播即可回答多個問題，無需解碼，顯著降低延遲。
• 嚴格隔離：保證一個問題的答案不會影響另一個問題的答案。
• 即插即用 API：與 typesafe-sdk 相容，可輕鬆整合至現有工作流程中。
• 硬體彈性：小型模型（0.5B）可在 Mac 上訓練，大型模型（4B/8B）可在 32GB Mac 上以 bf16 格式執行。