jaredpalmer/kev

何を解決するか

kev は、分類およびスコアリングタスクにおける従来のテキスト生成を置き換えるための意思決定モデルです。散文を生成するのではなく（これは遅く、一貫性に欠ける可能性がある）、特定の質問タイプに対する校正済み確率を提供することで、単一のドキュメントから高速かつ信頼性の高い構造化意思決定が可能になります。

動作方法

このプロジェクトは、0.5Bから8BパラメータのQwenベースモデルにLoRAアダプタとカスタムポインタリードアウトヘッドを適用しています。ドキュメントと複数の質問を、デコードなしの1回の「プレフィル」パスで処理します。

主な技術的メカニズムは以下の通りです：

• ブロック因果マスク：すべての質問がドキュメントを参照できる一方で、質問同士が互いを参照できないようにし、厳密な分離を保証します。
• パッキング：状態（ドキュメント）とすべての質問を1つのシーケンスにパックすることで、モデルが複数の質問を並列で回答できます。
• ポインタリードアウト：専用のヘッドが選択トークンを決定トークンと比較し、softmaxを適用してテキストではなく確率を出力します。
• 学習：ラベル付きの結果に対して交差エントロピーを用いて学習することで、出力確率が学習され、校正されます。

対象ユーザー

ローカルのノートPCで実行できる、高性能で構造化された意思決定API（TypeSafeのSystem One契約と互換）が必要な開発者や研究者向けです。クラウドで学習することも可能です。

特徴

• 3種類の質問タイプ：noul（はい／いいえ）、choice（複数選択）、score（順序付きレベル）をサポート。
• 高い効率性：デコードなしで1回のフォワードパスで複数の質問に回答し、レイテンシを大幅に削減。
• 厳密な分離：1つの質問の回答が他の質問に影響を与えないことを保証。
• 即時利用API：typesafe-sdkと互換性があり、既存のワークフローへの簡単な統合が可能。
• ハードウェアの柔軟性：小さなモデル（0.5B）はMacで学習可能、大きなモデル（4B/8B）はbf16で32GBのMacで実行可能。