software-mansion/react-native-executorch

What it solves

React Native 개발자가 iOS와 Android 모바일 기기에서 AI 모델을 로컬로 실행할 수 있게 하며, 네이티브 프로그래밍이나 머신러닝에 대한 깊은 전문 지식이 필요하지 않습니다. 이를 통해 클라우드 API에 의존하지 않는 프라이버시 중심의 온디바이스 AI 애플리케이션을 만들 수 있습니다.

How it works

이 라이브러리는 React Native와 ExecuTorch(Meta가 온디바이스 AI 실행을 위해 만든 프레임워크) 사이의 브리지 역할을 합니다. 선언형 API와 훅(useLLM 등)을 제공하여 .pte 형식으로 내보낸 모델을 초기화하고 실행합니다. 또한 모바일 플랫폼에서 모델 파일을 처리하기 위한 리소스 페칭도 지원합니다.

Who it’s for

React Native(특히 New Architecture)를 사용하는 모바일 앱 개발자 중 로컬 LLM, 컴퓨터 비전 또는 음성 모델을 앱에 통합하고자 하는 분들을 위한 것입니다.

Highlights

• Broad Model Support: LLM, 컴퓨터 비전, 음성→텍스트/텍스트→음성 모델을 바로 사용할 수 있습니다.
• Declarative API: 사용하기 쉬운 훅과 채팅을 위한 구조화된 메시지 포맷으로 모델 실행을 단순화합니다.
• On-Device Execution: ExecuTorch가 제공하는 효율적인 성능으로 모바일 폰 및 마이크로컨트롤러에서 실행됩니다.
• Ready-made Models: 빠르게 시작할 수 있도록 사전 구성된 모델 세트를 제공합니다.