receptron/laya
Run Laya, the open-source Jev-compatible System-1 decision model, from Node.js / TypeScript via ONNX Runtime
해결하는 문제
Laya는 자유 형식의 텍스트를 생성하지 않고 분류 및 점수 산정 작업을 수행하는 특화된 "시스템 1" 의사결정 모델을 제공합니다. 대화형 응답이 아닌, 지원 티켓 라우팅, 긴급도 점수 산정, 이탈 위험 감지 등 특정 결과에 대해 신뢰할 수 있고 보정된 확률이 필요한 시나리오를 위해 설계되었습니다.
작동 방식
Node.js 또는 TypeScript 환경 내에서 ONNX Runtime을 사용하여 Laya 모델을 로컬에서 실행합니다. 표준 LLM 생성 루프와 달리, 주어진 입력 상태(JSON 객체나 이메일 본문 등)와 일련의 유형화된 질문을 단일 포워드 패스(forward pass)로 처리합니다. 관련 신뢰도 점수가 포함된 구조화된 답변을 반환하며, Python 참조 구현과 수학적으로 일관된 출력을 보장합니다.
대상 사용자
Python이나 PyTorch를 운영 환경에서 실행하는 오버헤드를 피하면서 TypeScript/Node.js로 자동화된 의사결정 시스템이나 분류 파이프라인을 구축하려는 개발자.
주요 특징
- 단일 패스 추론: 여러 분류 또는 점수 산정 질문을 한 번의 모델 패스로 동시에 처리합니다.
- 보정된 확률: 예/아니오 (noul), 범주형 선택, 루브릭 점수를 포함한 모든 답변에 대해 명확한 신뢰도 지표를 제공합니다.
- Python 없는 런타임: ONNX Runtime을 사용하여 모델을 실행하므로 운영 환경에서 Python 의존성이 필요하지 않습니다.
- 타입 안전 API: 모델의 의사결정 출력에 직접 매핑되는 네이티브 TypeScript 인터페이스를 제공합니다.
- 성능 최적화: 속도를 위해 설계되었으며, Apple Silicon에서 단일 배치 요청이 일반적으로 약 140ms 내에 완료됩니다.
관련
- 프로젝트
- Dispatch
- 프로젝트
- 프로젝트
- Dispatch