receptron/laya

해결하는 문제

Laya는 빠르고 단일 패스(single-pass)로 분류 및 점수 산정을 수행하도록 설계된 "시스템 1" 의사결정 모델입니다. 텍스트를 생성하는 기존 LLM과 달리, Laya는 특정 유형의 질문(선택지 고르기, 루브릭에 따른 점수 할당, 예/아니오 진술의 확률 결정 등)에 대해 보정된 확률을 제공하는 데 중점을 둡니다.

작동 방식

이 프로젝트는 Laya 모델을 위한 Node.js/TypeScript 래퍼를 제공하여 ONNX Runtime을 통해 로컬에서 실행할 수 있도록 합니다. 이를 통해 런타임 시 PyTorch 및 Python에 대한 의존성을 제거합니다. 모델은 상태(티켓이나 이메일 등)와 일련의 유형화된 질문을 단일 순방향 패스(forward pass)로 처리하여 각 답변에 대해 보정된 확률을 반환합니다.

대상 사용자

전체 텍스트 생성 LLM 없이도 빠르고 보정된 의사결정 기능을 애플리케이션에 통합해야 하는 Node.js 또는 TypeScript 개발자.

주요 특징

• 단일 패스 의사결정: 한 번의 순방향 패스로 여러 질문에 대한 답변을 반환합니다.
• 보정된 확률: 선택지, 점수, 예/아니오 진술에 대해 정확한 확률 분포를 제공합니다.
• ONNX Runtime 통합: Python이나 PyTorch 없이 Node.js/TypeScript 환경에서 실행됩니다.
• 고성능: Apple-silicon CPU에서 3개의 질문을 포함한 단일 호출이 약 140ms 내에 처리됩니다.
• 사용자 정의 가능: 로컬 ONNX 번들 또는 특정 Hugging Face 체크포인트 로드를 지원합니다.