mizorewww/laya-coreml

Local Laya typed decisions on Apple Core ML and Neural Engine. Validated ports, ~5 ms short decisions on M3 Max, reproducible speed and energy benchmarks.

해결 과제

Laya-CoreML은 Apple Silicon 기기에서 의사결정 AI 모델을 효율적으로 로컬 실행할 수 있는 방법을 제공합니다. 토큰을 하나씩 생성하는 표준 생성형 AI 모델과 달리, 이 도구는 단일 순방향 패스를 수행하여 특정 선택 항목, 점수 또는 참/거짓 질문에 대한 보정된 확률을 출력합니다. PyTorch나 Transformers와 같은 무거운 프레임워크가 필요하지 않아 성능이 향상되고 에너지 소비가 줄어듭니다.

작동 방식

Laya 모델 가중치를 CPU, GPU 또는 Apple Neural Engine (ANE)에서 기본적으로 실행되는 Core ML 프로그램으로 변환합니다. 프롬프트와 제약 조건(선택 항목 목록이나 루브릭 등)을 제공하면 모델이 입력을 분석하여 구조화된 의사결정 결과를 반환합니다. 생성형 모델이 아니기 때문에 텍스트 토큰을 생성하거나 JSON 파싱을 할 필요가 없어 자동화된 의사결정 워크플로우에 이상적입니다.

대상 사용자

이 프로젝트는 macOS에서 빠르고 신뢰할 수 있는 의사결정 기능이 필요한 로컬 고성능 AI 에이전트를 구축하는 개발자를 위한 것입니다. 게임 로직, 라우팅, 분류 작업과 같이 낮은 지연 시간의 응답이 필요하며 에너지 효율성과 로컬 실행이 우선시되는 애플리케이션에 특히 유용합니다.

주요 특징

  • 제로 토큰 생성: 선택 항목, 점수 또는 명제에 대한 확률을 직접 반환합니다.
  • Apple Silicon 최적화: 특정 구성에서 Neural Engine을 활용하여 5ms 미만의 의사결정 시간을 달성합니다.
  • 에너지 효율성: 컴파일된 MLX 대안보다 전력 소모가 훨씬 적습니다.
  • 유연한 통합: CLI, HTTP, MCP 서버 모드를 지원하며 LangChain, LlamaIndex 등과 통합할 수 있습니다.
  • 오프라인 지원: 모델 번들을 고정하고 네트워크 액세스를 차단하여 완전히 로컬에서 운영할 수 있습니다.

관련

  • Dispatch
  • 프로젝트
  • 프로젝트
  • Dispatch
  • 프로젝트