trymirai/uzu
A high-performance inference engine for AI models
해결하는 문제
uzu는 고성능 추론 엔진으로, 개발자가 AI 모델을 직접 애플리케이션 내에 배포할 수 있도록 설계되었습니다. 외부 API 호출이 필요 없게 되어 추론 비용이 사라지고, 데이터 프라이버시가 완전히 보장되며, 모델을 로컬에서 실행함으로써 지연 시간 제로의 응답을 제공합니다.
작동 방식
uzu는 Rust, Python, TypeScript, Swift 등 여러 언어에 대한 고수준 API를 제공하여 모델 전체 수명 주기를 관리합니다. 모델 탐색, 자동 다운로드 및 추론 설정을 자동으로 처리합니다. Apple 기기에서는 통합 메모리를 활용해 성능을 최적화합니다. 또한 하이브리드 방식을 지원하여 통합 인터페이스를 통해 로컬 온디바이스 모델과 클라우드 기반 모델(OpenAI 등) 사이를 전환할 수 있습니다.
대상
이 엔진은 iOS, macOS 및 크로스 플랫폼 앱에서 LLM을 소프트웨어에 통합하려는 애플리케이션 개발자를 위해 만들어졌으며, 클라우드 인프라에 의존하지 않고 토큰당 비용을 부담하지 않아도 됩니다.
주요 특징
- 다중 언어 지원：Rust, Python, TypeScript, Swift에 대한 네이티브 바인딩 제공.
- 온디바이스 최적화：Apple 하드웨어의 통합 메모리를 활용하여 효율성을 높임.
- 프라이버시와 비용：로컬 실행으로 데이터가 디바이스를 떠나지 않으며 API 비용이 사라짐.
- 구조화된 출력：Grammar 및 JSON 스키마 사용을 지원하여 모델이 유효하고 구조화된 데이터를 반환하도록 강제.
- 하이브리드 유연성：로컬 온디바이스 추론과 클라우드 모델 통합을 모두 지원하는 통합 API.