DenisovAV/flutter_edge_ai

解決する課題

このプロジェクトは、Flutterを使用してモバイルおよびデスクトップデバイス上で直接AIモデルを実行するためのモジュール式フレームワークを提供し、クラウドサーバーやインターネット接続の必要性を排除します。開発者は、ユーザーのプライバシーを維持し、レイテンシを削減しながら、テキスト、ビジョン、オーディオ、およびRAG機能をクロスプラットフォームアプリケーションに統合できます。

仕組み

このフレームワークは、開発者が特定のランタイムエンジン（LiteRT、ONNX、またはGemini NanoやApple Foundation ModelsのようなOS組み込みモデルなど）をプラグインできるコアレジストリシステムを使用しています。これはオプトインパッケージのコレクションとして設計されており、開発者はベクトルストア、音声処理、エージェントツールなど、アプリケーションが必要とする特定のAI機能のみを含めることができます。

対象ユーザー

Android、iOS、Web、およびデスクトッププラットフォーム全体で、プライバシー重視のオフライン対応AIアプリケーションを構築したいFlutter開発者向けです。

ハイライト

• LiteRT、ONNX Runtime、ネイティブOSレベルのAIモデルなど、複数の推論バックエンドをサポート。
• SQLiteやQdrantなどのベクトルストアを使用したオンデバイスRAGを組み込みでサポート。
• 音声認識（Speech-to-Text）、音声合成（Text-to-Speech）、エージェントスキル実行のためのモジュール式パッケージを提供。
• Genkit向けのハイブリッドルーティングを提供し、ローカルモデルとクラウドベースモデル間のシームレスな切り替えが可能。