OpenJev: ブラウザベースの意思決定モデリングとロジット読み取り

OpenJevは、TypeSafeが提供する閉鎖型サービスであるJevのインターフェースパターンを再現するために設計されたローカルでブラウザベースの実装です。このツールでは、大規模言語モデル（LLM）から意思決定を抽出する2つの異なる方法を比較できます：直接的なロジット読み取りと、トークン単位でのJSON生成。

直接的なロジット読み取り vs トークン生成

OpenJevは、モデルの内部確率（ロジット）を読み取ることで意思決定をより効率的に行えることを示しています。これは、モデルにテキストを生成させることなく、モデルの選択を直接読み取ることで実現されます。

直接的なロジット読み取り（デコードなし）

この方法では、システムはモデルの選択ロジットを読み取り、指定された選択肢のセットにわたって正規化します。このプロセスはデコードを完全に回避し、モデルが「答えを書く」必要なく、許可された選択肢の確率分布を提供します。

トークン単位での生成

これは従来のLLMのアプローチであり、モデルに分布を推定させ、その結果をJSONテキストとして出力させます。このプロセスは、JSON構造のすべてのトークンを逐次的に生成する必要があるため、大幅に遅くなります。

対応モデルとパフォーマンス

OpenJevは、wllamaを介してWebGPUと量子化されたGGUFビルドを使用して、ブラウザ内で完全に実行されます。重みはHugging Faceから取得され、ローカルにキャッシュされます。ユーザーのブラウザからデータが送信されることはありません。

モデル	サイズ	作者精度	変更後精度	TypeSafe精度
Qwen3 0.6B	639 MB	44.0%	52.8%	40.7%
MiniCPM5 2B	1.56 GB	68.6%	69.3%	63.7%
Qwen3.5 4B	3.01 GB	81.3%	76.6%	84.5%
公開されたJev	ホスティング	—	—	88.3%

技術的実装と制限

推論エンジン

OpenJevはローカル実行にWebGPUを使用しています。しかし、ユーザーから非Chromiumブラウザ（例：Firefox）や特定のモバイルデバイス（例：iPad Pro）での互換性の問題が報告されており、GPUアダプタが存在しないためモデルが実行できない場合があります。

精度とキャリブレーション

直接読み取りスコアは、表示された選択肢トークンのみに対するソフトマックスです。これらは条件付き確率であり、校正された信頼スコアではなく、提供された選択肢以外のモデルが好む可能性のあるすべての答えを考慮していません。

コミュニティの洞察と反論

開発者間の議論では、OpenJevはインターフェースを再現していますが、オリジナルのJevサービスで使用されている特許的なトレーニングや特定のモデルを再現していないと指摘されています。

意思決定モデルの「護岸」について

一部の開発者は、Jevの核心的なイノベーションはAPIではなく、特定のトレーニングとモデル自体にあると主張しています。ある貢献者は、下記のように述べています：

"LLMの最後のステップは、予測のソフトマックスを取り、その結果からトークンを生成することです。しかし、あるツールは、文法から許可された次のすべてのトークンを生成することができました...許可されていないものをゼロにし、許可されたトークンの中から最も良いものを選ぶという仕組みです。"

代替実装

コミュニティのメンバーは、DiffusionGemmaをJevのようなモデルに変換するvLLMパッチなど、類似の結果を得る他の方法を指摘しています。このパッチは、OpenJevで使用されている小さなオープンウェイトモデルよりも、Jevの評価パフォーマンスに近い結果を報告しています。

ユーザーエクスペリエンスの批判

ユーザーは、OpenJevのデモサイトの視覚的デザインを「バイブコード化」されている、またはLLM生成されたものだと批判しており、技術的な実験から注意力を逸らすと感じた人もいます。また、非技術者向けにこの技術の目的を明確に説明していない点も指摘されています。