trymirai/uzu

해결하는 문제

uzu는 개발자가 애플리케이션 내부에 AI 모델을 직접 배포할 수 있도록 설계된 고성능 추론 엔진입니다. 외부 API 호출 없이 로컬 모델을 사용함으로써 추론 비용을 제거하고, 데이터의 완전한 프라이버시를 보장하며, 네트워크 지연을 제거합니다.

작동 방식

모델 다운로드 및 추론 설정의 복잡성을 추상화하는 고수준 API를 제공합니다. Rust, Python, Swift, TypeScript를 지원하며, 유니파이드 메모리를 활용하여 Apple 기기에서 최적화되어 있습니다. 로컬 모델 실행뿐만 아니라 OpenAI와 같은 클라우드 모델과도 통일된 인터페이스를 통해 통합할 수 있습니다.

대상 사용자

데스크톱 또는 모바일(특히 iOS 및 macOS) 애플리케이션을 개발하고, 복잡한 인프라를 관리하지 않고도 로컬 AI 기능을 통합하고자 하는 소프트웨어 개발자.

주요 특징

• 다중 언어 지원: Rust, Python, Swift, TypeScript용 바인딩 제공.
• Apple Silicon 최적화: Apple 기기의 유니파이드 메모리를 특별히 활용.
• 통일된 API: 로컬 및 클라우드 기반 AI 모델을 하나의 인터페이스로 관리.
• 자동 관리: 모델 다운로드 및 설정을 자동으로 처리.
• 계산 추적 가능성: 소스 오브 트루스 구현과 비교하여 계산의 정확성을 보장.