software-mansion/react-native-executorch

Declarative way to run AI models in React Native on device, powered by ExecuTorch.

What it solves

它让 React Native 开发者能够在移动设备(iOS 和 Android)本地运行 AI 模型,无需深厚的原生编程或机器学习专业知识。这使得可以创建注重隐私、完全在设备上运行的 AI 应用,而不依赖云端 API。

How it works

该库充当 React Native 与 ExecuTorch(Meta 为设备端 AI 执行设计的框架)之间的桥梁。它提供声明式 API 和 hook(如 useLLM)来初始化和运行以 .pte 格式导出的模型,并支持资源获取以处理移动平台上的模型文件。

Who it’s for

使用 React Native(尤其是 New Architecture)的移动应用开发者,想要在应用中集成本地 LLM、计算机视觉或语音模型。

Highlights

  • Broad Model Support: 开箱即支持 LLM、计算机视觉以及语音转文字/文字转语音模型。
  • Declarative API: 通过易用的 hook 与结构化消息格式简化模型执行。
  • On-Device Execution: 由 ExecuTorch 提供高效的手机和微控制器上的执行性能。
  • Ready-made Models: 提供一套预配置模型,帮助快速入门。