Laya オープンソース System 1 意思決定モデルが TypeSafe Jev を凌駕

TL;DR

Laya は、オープンソースの双方向エンコーダー意思決定モデルです。30～35ms で反射的な予測を行い、キャリブレーションされた確率を提供し、100 以上の言語をサポートします。TypeSafe AI のクローズドソースである Jev と比較して、レイテンシを 7～8 倍改善し、セルフホストも無料で行えます。

1. System 1 vs. System 2 – なぜ高速な意思決定モデルが重要なのか

要点: 単純な分類やルーティングタスクに生成型 LLM を使用するのは無駄です。専用の System 1 モデルは、ハルシネーションなしで即座にキャリブレーションされた意思決定を提供します。

生成型 LLM はリクエストごとに 500ms～2s を要し、トークンベースの API 料金を消費し、構造化されたラベルを抽出するために後処理が必要です。
LLM が生成する信頼度スコアは、数学的に根拠のある確率ではなく、キャリブレーションされていないトークン予測です。
Laya は人間のような System 1 を実装しており、単一の GPU 上で約 33ms で反射的な意思決定を行い、信頼できる確率を出力します。

2. 意思決定プリミティブ – コア API

要点: Laya は数値のみを返す 3 つの決定論的プリミティブを公開しており、不正な JSON やハルシネーションが発生する可能性を排除しています。

プリミティブ	目的	出力	保証
choice	辞書から 1 つのオプションを選択	`selected_key`、完全な確率分布、キャリブレーションされた信頼度	確率の合計は 1、信頼度は真の尤度を反映
score	入力を順序尺度 (0, 1, 2, …) に配置	期待レベル、ランクごとの分布、信頼度	ランク間での単調なキャリブレーション
noul	バイナリの真/偽クエリ	`P(true)` in [0.0, 1.0]; `P(false)=1-P(true)`	完全な補完性、矛盾する出力なし

モデルは自由形式のテキストを生成しないため、スキーマ違反は発生しません。

3. モデルチェックポイントとハブアーキテクチャ

要点: Laya は 3 つの専門化されたチェックポイントを 1 つの Hugging Face リポジトリで提供しており、SDK は必要なサブフォルダーのみをダウンロードして帯域幅を節約できます。

チェックポイント	エンコーダー	パラメータ	コンテキスト	強み
`convaiinnovations/laya`	ModernBERT‑large	421 M	512 トークン	英語分類、ガードレール、メールトリアージ
`convaiinnovations/laya-multilingual`	mmBERT‑base (256 k vocab)	322 M	1024 トークン (最大 8 k)	100 以上の言語、2.2 倍高速、多言語 NLI
`convaiinnovations/laya-typed-decisions`	ModernBERT‑large	421 M	1024 トークン	エージェントの可観測性、請求書処理、セキュリティアラート (0.766 acc)

選択的サブフォルダーダウンロード (Python の例):

import laya
# 英語のみ (≈808 MB)
agent_en = laya.load("convaiinnovations/laya")
# 多言語のみ (≈647 MB)
agent_ml = laya.load("convaiinnovations/laya", subfolder="multilingual")

4. 言語ルーティング – サイレントエラーの防止

要点: 信頼度スコアはスクリプト読み取りの失敗を明らかにしないため、推論の前にルーティングを行う必要があります。

MASSIVE ベンチマーク (51 言語、20 種類の分類) では、英語専用のチェックポイントはクメール語で 0.000 の精度 を達成しましたが、0.952 の平均信頼度 を報告しました。
ラテン文字以外のすべてのスクリプトにおいて、精度がランダムな推測レベルまで低下しても、平均信頼度は 0.885 を上回りました。
Laya の組み込み Router は 1ms 未満で Unicode スクリプトを検査し、適切なチェックポイントにディスパッチするため、事後的な信頼度ゲーティングが不要になります。

from laya import Router
router = Router(preload=True)
res_en = router.predict({"body": "I was charged twice, please refund."}, questions)
res_hi = router.predict({"body": "मुझसे दो बार शुल्क लिया गया..."}, questions)

ルーティングのオーバーヘッドは合計レイテンシの 2% 未満です (ラテン文字で 0.09ms、デーヴァナーガリー文字で 0.54ms、大きな JSON で 0.73ms)。

5. TypeSafe Jev との直接比較ベンチマーク

要点: Laya は精度、キャリブレーション、レイテンシにおいて一貫して Jev を上回り、かつ無料でオープンソースです。

指標	TypeSafe Jev 1.13.0	Laya (Routed)	Δ
Typed‑decisions (2 k decisions)	0.727	0.766	+3.9 %
AG News (4‑label)	0.910	0.950	+4.0 %
DAIR Emotion (6‑label)	0.480 (Brier 0.846)	0.595	+11.5 %
Expected Calibration Error (ECE)	0.246	0.081	3倍改善
P50 レイテンシ、単一クエリ	236‑276 ms	32.8 ms	7.8倍高速
P50 レイテンシ、10 クエリバッチ	~1.5 s (シリアル)	72.3 ms (7.2 ms/q)	20倍高速
ランダム精度 3 倍以上の言語数	– (公開データなし)	45 / 51	グローバル対応
100 万トークンあたりのコスト	$0.042 (従量課金 API)	$0.00 (セルフホスト)	無料
重みとコード	クローズド、プロプライエタリ	Apache 2.0 safetensors	オープン

実際のワークフロー結果 (抜粋):

メールスパム (Enron) – 0.993 acc, 0.013 ECE
フィッシング検出 – 0.980 acc, 0.012 ECE
LLM ガードレール / ジェイルブレイク検出 – 0.755 acc; 50% の選択的カバレッジで精度は 0.931 に上昇
RAG パッセージの関連性 – 単一のフォワードパスで 0.657 acc
10 種類のチケットルーティング – 0.522 acc

6. 正直な限界 – Laya が苦手なこと

要点: Laya は小規模から中規模の選択肢セットやファインチューニング後に優れていますが、汎用的なゼロショット分類器ではありません。

選択肢のスケーラビリティ: 約 20 個を超えるオプションでは精度が急激に低下します (例: 77 個のラベルを持つ Banking77 で 0.425、Jev は 0.870)。モデルのヘッドは候補ごとに 3～4 トークンしか割り当てられないため、識別能力が制限されます。
ゼロショット性能: 基本チェックポイントは typed-decisions ベンチマークで約 0.35 (ランダムに近い) を記録します。報告されている 0.766 という数値には、ベンチマークのトレーニング分割でのファインチューニングが必要です。
温度キャリブレーション: 生のロジットには質問タイプごとにスカラー温度が必要です。これを適用することで、キャリブレーションエラーが 0.466 から 0.081 に減少します。

推奨: Laya を高速な基盤モデルとして使用し、ドメイン固有のデータでファインチューニングを行い、本番環境用に温度をキャリブレーションしてください。

7. クイックスタート – 30 秒で Laya を実行する

要点: PyPI パッケージをインストールしてルーターを呼び出すと、単一のフォワードパスでマルチスキーマの意思決定が得られます。

pip install laya>=0.3.3

import laya
from laya import Router
router = Router(preload=True)

ticket = {
    "ticket_id": "TCK-8821",
    "subject": "System downtime and billing dispute",
    "body": "Our production API has been failing since 6 AM..."
}

questions = {
    "queue": {
        "type": "choice",
        "instructions": "Which engineering queue owns this ticket?",
        "criteria": {
            "infrastructure": "server outages, network downtime",
            "billing": "refunds, SLA credits",
            "security": "breaches, vulnerabilities",
            "support": "general inquiries"
        }
    },
    "urgency": {
        "type": "score",
        "instructions": "How urgent is this ticket?",
        "criteria": ["low", "medium", "high", "critical"]
    },
    "churn_risk": {
        "type": "noul",
        "instructions": "Does the customer threaten to cancel?"
    }
}

res = router.predict(ticket, questions)
print("Model used:", res["routing"]["model"])   # → english
print("Queue:", res["answers"]["queue"]["choice"])   # → infrastructure (confidence 0.96)
print("Urgency score:", res["answers"]["urgency"]["score"])   # → 2.87/3.0
print("Churn risk:", f"{res['answers']['churn_risk']['noul']:.1%}")   # → 91.4%

モデルのダウンロード (約 800 MB) を含めても、単一の GPU 上で 1 分以内に完了します。

8. コミュニティリソース

モデルハブ: https://huggingface.co/convaiinnovations/laya
ライブデモスペース: https://huggingface.co/spaces/convaiinnovations/laya-demo
GitHub リポジトリ: https://github.com/NandhaKishorM/laya
PyPI パッケージ: https://pypi.org/project/laya/
ファインチューニングノートブック (Kaggle 上の 2× T4): https://github.com/NandhaKishorM/laya/blob/main/notebooks/laya_finetune_typed_decisions_2xT4_kaggle.ipynb

9. コミュニティの洞察 – 他のユーザーの声

"LLM よりも少し高速で安価ですが、本質的にはより多くのデータを持つ BERT です。価値は、一度に多くの質問を処理できるワンショット分類器である点にあります。" – @Oras

"Jev のブランディングによってこのコンセプトはバイラルになりましたが、根底にあるアイデアである非自己回帰的な意思決定モデルは長年存在していました。Laya のようなオープンソース版は、この技術が再現可能であることを証明しています。" – @kamranjon

"モデルがスクリプトを読み取れない場合でも信頼度スコアが高く維持されるため、ルーティングのハックは不可欠です。モデルをプリロードすることで、7～10 秒のコールドスワップペナルティが解消されます。" – @sandos

"優れたパフォーマンスにはファインチューニングが必要です。ベースモデルは typed-decisions ではランダムに近いです。Laya はプラグアンドプレイのオラクルではなく、高速な基盤として扱ってください。" – @cjalmeida

"CPU での実行は限界があります。4 億パラメータのチェックポイントは、宣伝されている 35ms 未満のレイテンシを実現するには GPU が必要ですが、コードはバッチサイズ 1 の推論であれば約 200ms で CPU 互換性があります。" – @tarruda

結論

Laya は、多くの高スループット AI ワークロードに大規模な自己回帰型 LLM が必要ないことを示しています。意思決定をキャリブレーションされた非生成的な予測問題として構成することで、Laya は 6～8 倍の低レイテンシ、ハルシネーションゼロ、完全な多言語カバレッジを Apache 2.0 ライセンスの下で実現します。トレードオフは、ドメインデータでのファインチューニングが必要なことと、選択肢セットのサイズにわずかな制限があることです。独自の GPU をホストできる組織にとって、Laya は TypeSafe AI の Jev のようなプロプライエタリな「System 1」サービスに代わる、本番環境対応の無料の代替手段を提供します。