software-mansion/react-native-executorch

解決的問題

它讓開發者能夠在 React Native 應用程式中直接在行動裝置上執行機器學習模型。這消除了對雲端推論的需求，避免了網路延遲，降低伺服器成本，並確保使用者資料永遠不會離開裝置，以達到最高的隱私保護。

工作原理

此套件由 Meta 的 ExecuTorch 執行時驅動。它提供兩層架構：一層是高階層，包含可立即使用的任務鉤子（例如 useLLMChatSession），適用於常見的 AI 任務；另一層是低階層，讓開發者能使用 TypeScript、張量運算和 worklet 多執行緒來建構自訂的處理流程。它透過 XNNPACK（CPU）、Core ML 和 MLX（Apple Silicon）以及 Vulkan（Android GPU）利用原生硬體加速。

適用對象

想要在行動應用程式中整合裝置端 AI 功能（例如大型語言模型、電腦視覺、語音轉文字和嵌入向量）但不依賴外部 API 的 React Native 開發者。

主要特色

• 硬體加速：支援 Core ML、MLX、Vulkan 和 XNNPACK，以達到最佳效能。
• 隱私優先：100% 離線執行，確保資料不會傳送到雲端。
• 預先匯出的模型：內建一個經驗證的模型目錄，可透過 Hugging Face 取用。
• 彈性實作：提供簡單的任務鉤子與低階原語，支援自訂 .pte 模型的排程。

"這讓我們能在裝置上運行大型語言模型，而無需依賴雲端，同時保持資料隱私。" — @handle