trymirai/uzu

uzu는 개발자가 AI 모델을 앱 내부에서 직접(온디바이스) 실행할 수 있도록 지원하는 고성능 추론 엔진입니다. 클라우드 왕복이 필요 없습니다. 제로 지연 시간, 완벽한 데이터 개인 정보 보호, 제로 추론 비용을 위해 구축되었으며 Rust, Python, Swift, TypeScript를 지원하도록 설계되었습니다.

주요 기능:

• 모델(예: alibaba:qwen3.5:0.8b:mirai:mirai-m:4)을 다운로드하고 로컬에서 채팅 세션을 실행합니다.
• 간단하고 수준 높은 API 제공: Engine 생성, 모델 가져오기 및 다운로드, ChatSession 시작, 메시지 전송이 가능합니다.
• 스트리밍 응답, 도구 호출, 구조화된 출력 및 대안으로 클라우드 모델(예: OpenAI API를 통한 GPT‑5)을 지원합니다.
• Apple 기기의 통합 메모리를 사용하여 효율적인 모델 로딩을 수행합니다.
• 추적 가능한 계산을 포함하여 참조 구현과의 정확성을 검증할 수 있습니다.

작동 방식(예시):

1. EngineConfig와 Engine을 생성합니다.
2. 식별자로 모델을 검색하고 진행 상황 업데이트와 함께 다운로드합니다.
3. 채팅 세션을 시작하고 ChatMessage 목록(시스템, 사용자 등)을 전송하여 응답을 받습니다(한 번에 또는 스트림으로).
4. 여러 요청에 대해 동일한 세션을 재사용하고, RAM 관리를 위해 한 번에 하나의 모델만 로드합니다.

대상: 개인적이고 빠르며 오프라인에서 작동하는 AI가 필요한 앱(특히 iOS/macOS)을 개발하는 개발자. 챗봇, 어시스턴트 또는 로컬 추론이 필요한 모든 기능에 적합합니다. MIT 라이선스로 제공되며 활발히 유지 관리되고 있고, 다국어 바인딩과 문서화된 API를 갖추고 있습니다.