mizorewww/laya-mlx

Native MLX runtime for Laya typed decision models — 7–14 ms short decisions on M3 Max. No text generation, PyTorch, or cloud API.

해결하는 문제

전통적인 AI 모델은 종종 긴 텍스트 응답을 생성하며, 이는 느리고 간단한 답변을 추출하기 위해 파싱이 필요합니다. Laya-MLX는 사전 정의된 옵션, 루브릭 수준 또는 참/거짓 판단에 대한 보정된 확률을 단일 순방향 패스에서 직접 출력하여 이 문제를 해결합니다. 이를 통해 지원 티켓 라우팅, 응답 점수 매기기, 문장 확인과 같은 결정이 매우 빠르게(밀리초) 이루어지며 토큰 생성 및 JSON 파싱의 오버헤드를 피할 수 있습니다. Apple Silicon에서 완전히 로컬로 실행되므로 클라우드 API가 필요 없고 데이터가 비공개로 유지됩니다.

작동 방식

스키마를 사용하여 일련의 질문을 정의합니다. 각 질문에는 유형이 있습니다: choice(명명된 옵션 중 하나 선택), score(순서가 있는 수준에 따라 평가), 또는 noul(예/아니오로 답변). 또한 지침과 선택의 경우 각 옵션에 대한 설명을 제공합니다. 그런 다음 Laya-MLX는 입력에 대해 Laya 모델(MLX 형식으로 변환됨)을 실행하고 각 가능한 답변에 대한 확률과 신뢰도 점수를 반환합니다. 모델은 텍스트를 생성하지 않습니다—인코더와 결정 헤드에서 확률만 계산합니다. 패키지에는 여러 사전 변환된 체크포인트(영어, 다국어, 유형화된 결정 워크플로우용)가 포함되어 있으며 한 줄의 코드로 로드할 수 있습니다. 또한 공유 질문 스키마에 대한 배치 처리, 언어 라우팅, 신뢰도 게이팅, CLI, HTTP 또는 MCP를 통한 서빙 도구와 같은 기능을 제공합니다.

대상 사용자

빠르고 로컬이며 신뢰할 수 있는 결정이 필요한 애플리케이션을 구축하는 개발자—예: 고객 지원 트리아지, 자동 모더레이션, 에이전트 라우팅, 또는 전체 언어 모델 생성의 지연 없이 분류하거나 판단해야 하는 모든 시스템. 특히 개인적이고 오프라인 추론을 원하는 Apple Silicon 하드웨어에서 작업하는 사람들에게 적합합니다. 이 라이브러리는 또한 일반적인 에이전트 프레임워크(LangChain, LlamaIndex, CrewAI, Agno)와 통합되어 기존 워크플로우에 쉽게 통합할 수 있습니다.

주요 특징

  • Apple Silicon에서 기본 실행(M3 Max 벤치마크: 짧은 영어 결정 13.4ms, 다국어 7.4ms)
  • PyTorch, Transformers, 클라우드 API 불필요—완전 로컬 추론
  • 보정된 확률로 선택, 점수 매기기, 예/아니오 질문 지원
  • 여러 체크포인트: 영어, 다국어, 유형화된 결정 변형
  • 높은 처리량을 위한 배치 및 긴 문서 스캔(M3 Max에서 최대 395 q/s)
  • 낮은 신뢰도 답변을 검토용으로 표시하는 신뢰도 게이팅
  • CLI, HTTP 서버, MCP 서버, 평가/보정 도구 포함
  • LangChain, LlamaIndex, CrewAI, Agno와 통합
  • Apache-2.0 라이선스, 상세한 벤치마크 및 출처 문서 포함

관련

  • Dispatch
  • Dispatch
  • 프로젝트
  • 프로젝트
  • 프로젝트