NandhaKishorM/laya
Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.
해결하는 문제
대규모 언어 모델을 사용하여 의사결정(지원 티켓 라우팅 등)을 수행하는 기존 시스템은 일반적으로 문장을 생성한 후 이를 파싱하기 때문에 속도가 느리고 오류가 발생하기 쉬우며 환각(hallucination) 현상이 나타날 수 있습니다. Laya는 이를 완전히 방지합니다. 텍스트를 입력받아 단일 순방향 패스에서 직접 구조화된 답변(목록에서의 선택, 점수, 또는 예/아니오 확률)을 출력합니다. 이를 통해 100개 이상의 언어에 걸쳐 빠르고(질문당 33ms) 신뢰할 수 있는 의사결정이 가능합니다.
작동 방식
Laya는 RLCD라는 강화 학습 기법으로 파인튜닝된 인코더 전용(encoder-only) transformer 모델(ModernBERT 및 mBERT)을 사용합니다. 이 기법은 엄격한 채점 규칙에 최적화되어 출력 확률이 잘 보정됩니다. 토큰 단위로 텍스트를 생성하는 대신 전체 입력을 처리하고 한 단계에서 유형화된 질문에 대한 답변을 예측합니다. Router가 먼저 입력의 언어와 스크립트를 감지한 다음, 영어, 다국어, 또는 전문화된 유형화 의사결정 모델 중 최적의 체크포인트를 자동으로 선택합니다. 이 라이브러리는 choice(카테고리 선택), score(척도에 따른 순위), noul(답변이 '예'일 확률)의 세 가지 질문 유형을 지원합니다. 또한 최대 8,192 토큰의 긴 문서를 처리할 수 있으며, 자체 도메인 데이터로 파인튜닝하여 정확도를 높일 수 있습니다.
대상 사용자
사용자 메시지, 지원 티켓, 이메일 또는 중단문 텍스트를 빠르고 안정적으로 구조화된 의사결정으로 분류해야 하는 개발자(특히 다국어 환경)에게 적합합니다. 트리아지, 콘텐츠 조정, 의도 분류, 그리고 LangChain, LlamaIndex, CrewAI와 같은 에이전트 프레임워크 내의 빠른 라우팅 계층으로 유용합니다. 또한 보정(모델의 신뢰도 파악)이 필요하고 텍스트 생성의 지연 시간과 취약성을 피하려는 애플리케이션에 적합합니다.
주요 특징
- 단일 순방향 패스: 텍스트 생성 없음, 파싱 없음, 환각 없음.
- 초고속: 질문당 33ms, 배치 처리 시 질문당 7.2ms(T4 GPU 기준).
- 다국어 지원: 전용 체크포인트를 통해 100개 이상의 언어 지원; 자동 언어 감지 및 라우팅.
- 3개의 사전 학습된 체크포인트(영어, 다국어, 유형화 의사결정)와 요청별로 적절한 모델을 선택하는 라우터.
- 도메인별 의사결정에 대한 파인튜닝으로 정확도 대폭 향상 가능(예: 베이스라인 0.362 대비 0.766).
- 다국어 모델에서 최대 8,192 토큰의 긴 컨텍스트 지원.
- 광범위한 통합: Python, TypeScript, Rust, .NET SDK 및 LangChain, LlamaIndex, CrewAI, ONNX 런타임.
- 빠른 테스트 및 배치 처리를 위한 CLI 포함.
관련
- Dispatch
- 프로젝트
- 프로젝트
- Dispatch
- 프로젝트