john-rocky/coreai-model-zoo

해결하는 문제

Apple의 Core AI 프레임워크(iOS 27 / macOS 27)에서 실행하기 위해 사전에 변환된 AI 모델과 정확한 레시피를 제공합니다. 이로 인해 개발자는 원본 모델 형식에서 복잡한 변환 과정을 수동으로 처리할 필요 없이, 고성능의 오프라인 AI 기능(예: LLM, 시각-언어 모델, 음성-텍스트 변환 등)을 Apple 앱에 쉽게 통합할 수 있습니다.

작동 방식

이 프로젝트는 .aimodel 번들 및 해당되는 recipe.toml 파일의 '동물원'을 유지 관리합니다. 이러한 레시피는 변환에 사용된 정확한 설정을 정의하며, 누구나 zoo_convert.py를 사용해 모델 번들을 재구성할 수 있습니다. 품질을 보장하기 위해 프로젝트는 coreai_gate.py라는 게이팅 시스템을 사용하여 변환된 모델의 출력이 참조용 fp32 모델과 수치적으로 일치하는지 검증합니다. CoreAIKit 라이브러리를 통해 모델을 단일 Swift 코드로 다운로드하고 실행할 수 있어 통합이 간소화됩니다.

대상 사용자

최신 오픈소스 AI 모델을 Apple 하드웨어에 최적화된 상태로 디바이스 내에서 배포하고자 하는 iOS 및 macOS 개발자들입니다.

주요 특징

• 다양한 모델 지원: 텍스트 LLM(Qwen, Gemma, LFM), 시각-언어 모델(VLM), 음성-텍스트 변환(Whisper), 안전성 분류기 및 로보틱스(BitVLA)와 같은 전용 모델 포함.
• 검증된 정확성: 변환된 모델이 원본 소스 모델과 동일한 토큰을 생성함을 엄격한 게이팅 프로세스로 보장.
• 고도의 최적화: 1.58비트 삼항 LLM용 맞춤형 Metal 커널과 iPhone GPU에서 고속 추론을 위한 혼합 비트 양자화 기능 포함.
• 원클릭 통합: CoreAIKit과 연동되어 모델 다운로드, 캐싱, 실행을 최소한의 코드로 처리.