software-mansion/react-native-executorch

它解决了什么问题

它使开发者能够在 React Native 应用中直接在移动设备上运行机器学习模型。这消除了对基于云的推理的需求，从而消除了网络延迟，降低了服务器成本，并确保用户数据始终留在设备上，以实现最大隐私保护。

它如何工作

该库由 Meta 的 ExecuTorch 运行时驱动。它提供两层架构：高层级层包含可直接使用的任务钩子（如 useLLMChatSession），用于常见 AI 任务；低层级层允许开发者使用 TypeScript、张量操作和 worklet 线程构建自定义流水线。它通过 XNNPACK（CPU）、Core ML 和 MLX（Apple Silicon）以及 Vulkan（Android GPU）利用原生硬件加速。

适用人群

希望在移动应用中集成设备端 AI 功能（如 LLM、计算机视觉、语音转文本和嵌入）但不依赖外部 API 的 React Native 开发者。

主要亮点

• 硬件加速：支持 Core ML、MLX、Vulkan 和 XNNPACK，实现性能优化。
• 隐私优先：100% 离线执行，确保数据不会传输到云端。
• 预导出模型：包含一个经验证的模型目录，可通过 Hugging Face 获取。
• 灵活实现：提供简单的基于任务的钩子和低层级原语，用于自定义 .pte 模型编排。

一个真正实现本地 AI 推理的库，让开发者无需依赖云端即可在移动设备上运行模型 — @handle