razorback16/openjev

解決する課題

OpenJevは、オープンソースAIモデルからタイプ付きの判断（yes/no、複数選択、数値スコア）を高速かつキャリブレーションされた方法で取得するためのツールです。従来のLLMがテキストを生成してからその解析を行うのとは異なり、OpenJevはモデルの出力分布から確率を直接読み取り、答えが常に厳密なスキーマに従い、「スキーマ外」になることがないことを保証します。

動作方法

OpenJevは主にDiffusionGemmaのような離散拡散モデルを利用します。左から右へトークンを逐次生成するのではなく、答えのスロットのみをマスクした「キャンバス」に対して読み取り専用のノイズ除去処理を実行します。そのスロット内のラベル（例："yes"/"no" または "A"/"B"）のモデルの確率分布がそのまま答えとなります。

また、LayaやVerdictのような小さな双方向エンコーダモデルもサポートしており、1回の順伝播で選択肢の確率分布を分類ヘッドによって提供します。

対象ユーザー

テキスト解析に伴う遅延や信頼性の問題を避けながら、高速かつ構造化された判断（例：顧客の意図分類、緊急性の判断、感情スコアリングなど）が必要な開発者向けに設計されています。

特徴

• 厳密な型指定出力: noul（yes/no）、choice（複数選択）、score（数値レベル）をサポート。
• 高いパフォーマンス: 短い状態に対して数十ミリ秒で答えを返却。
• キャリブレーションされた信頼度: 自己報告の数値ではなく、モデル自身の確率分布に基づいた信頼度スコアを提供。
• マルチモーダル対応: テキストと画像の両方を処理して判断を下すことが可能。
• 柔軟なデプロイ: NVIDIA GPU上でvLLM経由、またはApple silicon上でMLX経由で実行可能。