receptron/laya

解決する課題

Layaは、高速でシングルパスの分類およびスコアリング用に設計された「システム1」意思決定モデルです。テキストを生成する従来のLLMとは異なり、Layaは特定の種類の質問（選択肢の選定、ルーブリックに基づくスコアリング、イエス/ノーの確率判定など）に対して、キャリブレーションされた確率を提供することに特化しています。

仕組み

本プロジェクトはLayaモデルのNode.js/TypeScriptラッパーを提供し、ONNX Runtimeを通じてローカルで実行できるようにします。これにより、実行時にPyTorchやPythonへの依存関係が不要になります。モデルは状態（チケットやメールなど）と一連の型付き質問を単一のフォワードパスで処理し、各回答に対してキャリブレーションされた確率を返します。

対象ユーザー

フル機能のテキスト生成LLMを必要とせず、高速でキャリブレーションされた意思決定機能をアプリケーションに統合したいNode.jsまたはTypeScript開発者。

ハイライト

• シングルパス意思決定: 1回のフォワードパスで複数の質問に対する回答を返します。
• キャリブレーションされた確率: 選択肢、スコア、イエス/ノーの質問に対して正確な確率分布を提供します。
• ONNX Runtime統合: PythonやPyTorchを必要とせず、Node.js/TypeScript環境で実行可能です。
• 高性能: Apple-silicon CPU上で、3つの質問を含む単一の呼び出しが約140msで完了します。
• カスタマイズ可能: ローカルのONNXバンドルや特定のHugging Faceチェックポイントの読み込みをサポートしています。