receptron/laya

Run Laya, the open-source Jev-compatible System-1 decision model, from Node.js / TypeScript via ONNX Runtime

解決する課題

Laya は、自由形式のテキストを生成することなく分類およびスコアリングタスクを実行する、特化型の「システム 1」決定モデルを提供します。会話型の応答ではなく、サポートチケットのルーティング、緊急度のスコアリング、解約リスクの検出など、特定の成果に対して信頼性が高くキャリブレーションされた確率が必要なシナリオ向けに設計されています。

仕組み

Node.js または TypeScript 環境内で ONNX Runtime を使用して Laya モデルをローカルで実行します。標準的な LLM 生成ループとは異なり、入力状態(JSON オブジェクトやメール本文など)と一連の型付き質問を単一のフォワードパスで処理します。関連する信頼度スコアを含む構造化された回答を返し、Python のリファレンス実装と数学的に一貫した出力を保証します。

対象ユーザー

Python や PyTorch を本番環境で実行するオーバーヘッドを避けたい、TypeScript/Node.js で自動意思決定システムや分類パイプラインを構築する開発者。

ハイライト

  • シングルパス推論: 複数の分類やスコアリングの質問を、1 回のモデルパスで同時に処理します。
  • キャリブレーションされた確率: はい/いいえ (noul)、カテゴリ選択、ルーブリックスコアを含む、すべての回答に対して明確な信頼度メトリクスを提供します。
  • Python 不要のランタイム: ONNX Runtime を使用してモデルを実行するため、本番環境で Python の依存関係が不要になります。
  • 型安全な API: モデルの意思決定出力に直接マッピングされるネイティブな TypeScript インターフェースを提供します。
  • パフォーマンスの最適化: 速度を重視して設計されており、Apple Silicon 上では単一バッチリクエストが通常約 140ms で完了します。

関連

  • プロジェクト
  • Dispatch
  • プロジェクト
  • プロジェクト
  • Dispatch