software-mansion/react-native-executorch

무엇을 해결하는가

개발자가 React Native 애플리케이션 내의 모바일 기기에서 직접 머신러닝 모델을 실행할 수 있도록 합니다. 이를 통해 클라우드 기반 추론의 필요성을 제거하여 네트워크 지연 시간을 없애고, 서버 비용을 줄이며, 사용자 데이터가 기기로부터 절대 벗어나지 않도록 하여 최대의 개인정보 보호를 보장합니다.

작동 방식

이 라이브러리는 Meta의 ExecuTorch 런타임으로 구동됩니다. 두 개의 계층 구조를 제공합니다: 일반적인 AI 작업을 위한 바로 사용 가능한 작업 훅(예: useLLMChatSession)이 포함된 고수준 계층과, TypeScript, 텐서 연산 및 worklet 스레딩을 사용하여 개발자가 맞춤형 파이프라인을 구축할 수 있는 저수준 계층입니다. XNNPACK (CPU), Core ML 및 MLX (Apple Silicon), 그리고 Vulkan (Android GPU)을 통한 네이티브 하드웨어 가속을 활용합니다.

대상 사용자

외부 API에 의존하지 않고 LLM, 컴퓨터 비전, 음성-텍스트 변환(speech-to-text), 임베딩과 같은 온디바이스 AI 기능을 모바일 앱에 통합하고자 하는 React Native 개발자.

주요 특징

• 하드웨어 가속: 최적화된 성능을 위해 Core ML, MLX, Vulkan 및 XNNPACK을 지원합니다.
• 개인정보 보호 우선: 100% 오프라인 실행을 통해 데이터가 클라우드로 전송되지 않음을 보장합니다.
• 사전 내보내기된 모델: Hugging Face를 통해 사용할 수 있는 검증된 모델의 큐레이션된 카탈로그를 포함합니다.
• 유연한 구현: 간단한 작업 기반 훅과 맞춤형 .pte 모델 오케스트레이션을 위한 저수준 프리미티브를 모두 제공합니다.