software-mansion/react-native-executorch

何を解決するか

React Nativeアプリケーション内で、モバイルデバイス上で機械学習モデルを直接実行できるようにします。これにより、クラウドベースの推論の必要がなくなり、ネットワーク遅延が解消され、サーバー費用が削減され、ユーザーのデータがデバイス外に送信されないため、プライバシーを最大限に確保できます。

仕組み

このライブラリはMetaのExecuTorchランタイムによって駆動されています。2層構造を採用しています：一般的なAIタスク向けに事前準備されたタスクフック（例：useLLMChatSession）を提供する高レベル層と、TypeScript、テンソル操作、Workletスレッドを使用してカスタムパイプラインを構築できる低レベル層です。XNNPACK（CPU）、Core MLおよびMLX（Apple Silicon）、Vulkan（Android GPU）を介してネイティブハードウェアアクセラレーションを活用しています。

対象ユーザー

外部APIに頼らず、モバイルアプリにLLM、コンピュータビジョン、音声認識、埋め込み表現などのオンデバイスAI機能を統合したいReact Native開発者

特徴

• ハードウェアアクセラレーション対応：最適化されたパフォーマンスを実現するCore ML、MLX、Vulkan、XNNPACKをサポート。
• プライバシー最優先：100%オフライン実行により、データがクラウドに送信されることはありません。
• 事前にエクスポートされたモデル：Hugging Face経由で利用可能な検証済みモデルのカレントカタログを含む。
• 柔軟な実装：シンプルなタスクベースのフックと、カスタムの.pteモデルオーケストレーションに使える低レベルプリミティブの両方を提供。