DenisovAV/flutter_edge_ai

해결 과제

이 프로젝트는 Flutter를 사용하여 모바일 및 데스크톱 기기에서 직접 AI 모델을 실행할 수 있는 모듈형 프레임워크를 제공하여 클라우드 서버나 인터넷 연결의 필요성을 제거합니다. 개발자는 사용자 개인정보를 보호하고 지연 시간을 줄이면서 텍스트, 비전, 오디오 및 RAG 기능을 크로스 플랫폼 애플리케이션에 통합할 수 있습니다.

작동 방식

이 프레임워크는 개발자가 특정 런타임 엔진(LiteRT, ONNX 또는 Gemini Nano나 Apple Foundation Models와 같은 OS 내장 모델 등)을 플러그인할 수 있는 핵심 레지스트리 시스템을 사용합니다. 이 프레임워크는 선택적 패키지 모음으로 설계되어 있어, 개발자는 벡터 저장소, 음성 처리, 에이전트 도구 등 애플리케이션에 필요한 특정 AI 기능만 포함할 수 있습니다.

대상 사용자

Android, iOS, 웹 및 데스크톱 플랫폼 전반에서 개인정보 보호를 중시하고 오프라인 기능을 갖춘 AI 애플리케이션을 구축하려는 Flutter 개발자를 위한 것입니다.

주요 특징

• LiteRT, ONNX Runtime 및 네이티브 OS 수준의 AI 모델을 포함한 다중 추론 백엔드 지원.
• SQLite 및 Qdrant와 같은 벡터 저장소를 사용한 온디바이스 RAG 내장 지원.
• 음성 인식(Speech-to-Text), 음성 합성(Text-to-Speech) 및 에이전트 기술 실행을 위한 모듈형 패키지 제공.
• Genkit을 위한 하이브리드 라우팅을 제공하여 로컬 모델과 클라우드 기반 모델 간의 원활한 전환 지원.