software-mansion/react-native-executorch
Declarative way to run AI models in React Native on device, powered by ExecuTorch.
What it solves
它讓 React Native 開發者能在行動裝置(iOS 與 Android)上本地執行 AI 模型,無需具備深厚的原生程式或機器學習專業知識。這使得開發以隱私為中心、完全在裝置上運作的 AI 應用成為可能,無需依賴雲端 API。
How it works
此函式庫充當 React Native 與 ExecuTorch(Meta 為裝置端 AI 執行所設計的框架)之間的橋樑。它提供宣告式 API 與 hook(如 useLLM)來初始化與執行以 .pte 格式匯出的模型,亦支援資源抓取以處理行動平台上的模型檔案。
Who it’s for
使用 React Native(特別是 New Architecture)的行動應用開發者,想要在應用中整合本地 LLM、電腦視覺或語音模型。
Highlights
- Broad Model Support: 開箱即支援 LLM、電腦視覺與語音轉文字/文字轉語音模型。
- Declarative API: 以易用的 hook 與結構化訊息格式簡化模型執行。
- On-Device Execution: 由 ExecuTorch 提供效能優化的行動手機與微控制器執行。
- Ready-made Models: 提供一組預先配置好的模型,讓開發者快速上手。