DenisovAV/flutter_edge_ai

解决的问题

该项目提供了一个模块化框架，允许使用 Flutter 直接在移动和桌面设备上运行 AI 模型，无需云服务器或互联网连接。它使开发者能够将文本、视觉、音频和 RAG 功能集成到跨平台应用中，同时保护用户隐私并降低延迟。

工作原理

该框架使用核心注册系统，允许开发者插入特定的运行时引擎（如 LiteRT、ONNX 或内置的操作系统模型，如 Gemini Nano 或 Apple Foundation Models）。它被设计为一系列可选包的集合，这意味着开发者只需包含应用所需的特定 AI 功能，例如向量存储、语音处理或代理工具。

适用人群

适用于希望在 Android、iOS、Web 和桌面平台上构建注重隐私、支持离线 AI 应用的 Flutter 开发者。

亮点

• 支持多种推理后端，包括 LiteRT、ONNX Runtime 和原生操作系统级 AI 模型。
• 内置支持使用 SQLite 和 Qdrant 等向量存储进行设备端 RAG。
• 提供用于语音转文本、文本转语音和代理技能执行的模块化包。
• 为 Genkit 提供混合路由，允许在本地模型和云端模型之间无缝切换。