receptron/laya

解決的問題

Laya 是一個「系統 1」決策模型，專為快速、單次傳遞的分類與評分而設計。與傳統生成文字的 LLM 不同，Laya 專注於為特定類型的問題提供校準過的機率：選擇選項、根據評分標準給分，或判斷是非題的機率。

運作方式

本專案為 Laya 模型提供了 Node.js/TypeScript 包裝器，使其能透過 ONNX Runtime 在本地執行。這消除了執行時期對 PyTorch 與 Python 的依賴。模型會在單次前向傳遞中處理狀態（例如工單或電子郵件）與一組類型化問題，並為每個答案回傳校準過的機率。

適用對象

使用 Node.js 或 TypeScript 的開發者，若需要在應用程式中整合快速且校準過的決策能力，而無需使用完整的文字生成 LLM。

特點

• 單次傳遞決策：在一次前向傳遞中回傳多個問題的答案。
• 校準過的機率：為選項、分數與是非題提供精確的機率分佈。
• ONNX Runtime 整合：在 Node.js/TypeScript 中執行，無需 Python 或 PyTorch。
• 高效能：在 Apple-silicon CPU 上，包含三個問題的單次呼叫大約只需 140ms。
• 可自訂：支援載入本地 ONNX 套件或特定的 Hugging Face 檢查點。