NandhaKishorM/laya

Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.

解決する課題

大規模言語モデルを使用して意思決定(サポートチケットのルーティングなど)を行う従来のシステムは、通常、文章を生成してから解析するため、低速でエラーが発生しやすく、ハルシネーションを引き起こす可能性があります。Layaはこれを完全に回避します。テキストを受け取り、単一のフォワードパスで直接構造化された回答(リストからの選択、スコア、または「はい/いいえ」の確率)を出力します。これにより、100以上の言語にわたって、高速(1質問あたり33ms)かつ信頼性の高い意思決定が可能になります。

仕組み

Layaは、RLCDと呼ばれる強化学習手法でファインチューニングされたエンコーダーのみのtransformerモデル(ModernBERTおよびmBERT)を使用しています。これは厳密なスコアリングルールに対して最適化されており、出力確率が適切に調整されています。トークンごとにテキストを生成するのではなく、入力を全体として処理し、型指定された質問に対する回答を1ステップで予測します。Routerがまず入力の言語とスクリプトを検出し、最適なチェックポイント(英語、多言語、または専門的な型指定意思決定モデル)を自動的に選択します。このライブラリは、choice(カテゴリの選択)、score(スケールでのランク付け)、noul(「はい」である確率の提示)の3つの質問タイプをサポートしています。また、最大8,192トークンまでの長文ドキュメントを処理でき、独自のドメインデータでファインチューニングして精度を向上させることも可能です。

対象ユーザー

ユーザーメッセージ、サポートチケット、メール、または中程度の長さのテキストを、構造化された意思決定に迅速かつ確実に分類する必要がある開発者(特に多言語環境)。トリアージ、コンテンツモデレーション、意図分類、およびLangChain、LlamaIndex、CrewAIなどのエージェントフレームワークにおける高速なルーティング層として有用です。また、キャリブレーション(モデルの信頼度の把握)が必要で、テキスト生成のレイテンシや脆弱性を避けたいアプリケーションにも適しています。

ハイライト

  • 単一のフォワードパス:テキスト生成なし、解析なし、ハルシネーションなし。
  • 超高速:1質問あたり33ms、バッチ処理時は1質問あたり7.2ms(T4 GPU上)。
  • 多言語対応:専用チェックポイントにより100以上の言語をサポート。自動言語検出とルーティング。
  • 3つの事前学習済みチェックポイント(英語、多言語、型指定意思決定)と、リクエストごとに適切なモデルを選択するルーター。
  • ドメイン固有の意思決定に対するファインチューニングにより、精度を劇的に向上可能(例:ベースライン0.362に対し0.766)。
  • 多言語モデルで最大8,192トークンまでの長文コンテキストをサポート。
  • 幅広い統合:Python、TypeScript、Rust、.NET SDK、およびLangChain、LlamaIndex、CrewAI、ONNXランタイム。
  • 高速テストとバッチ処理のためのCLIも付属。

関連

  • Dispatch
  • プロジェクト
  • プロジェクト
  • Dispatch
  • プロジェクト