software-mansion-labs/react-native-rag

해결하는 문제

React Native RAG는 모바일 기기에서 직접 RAG(검색 증강 생성)를 구현하기 위한 프레임워크를 제공합니다. 개발자는 로컬 지식 베이스로 LLM을 강화하여 데이터와 추론을 기기 내에서 유지함으로써 AI 응답의 개인정보 보호와 효율성을 보장할 수 있습니다.

작동 방식

이 라이브러리는 LLM, Embeddings, VectorStore, TextSplitter의 네 가지 주요 인터페이스로 구성된 모듈식 아키텍처로 구축되었습니다. 개발자는 이러한 구성 요소를 개별적으로 사용하거나 높은 수준의 useRAG 훅 또는 RAG 클래스를 통해 함께 사용하여 오케스트레이션할 수 있습니다. @react-native-rag/executorch 플러그인을 통한 온디바이스 추론과 SQLite 기반 스토리지를 위한 @react-native-rag/op-sqlite를 사용한 로컬 벡터 스토어 지속성을 지원합니다.

대상 독자

클라우드 기반 LLM 서비스에 의존하지 않고 애플리케이션에 비공개 로컬 AI 기능과 의미론적 검색을 통합하려는 React Native를 사용하는 모바일 개발자.

하이라이트

• 온디바이스 추론: ExecuTorch를 사용하여 개인정보 보호와 속도를 위해 모델을 로컬에서 실행합니다.
• 모듈식 설계: LLM, 임베딩, 벡터 스토어 구성 요소의 사용자 지정 버전을 교체하거나 구현할 수 있습니다.
• 지속성: SQLite를 통해 벡터 스토어를 로컬로 저장하고 관리할 수 있습니다.
• 유연한 통합: 간단한 설정을 위한 훅 기반 접근 방식과 고급 제어를 위한 클래스 기반 접근 방식을 제공합니다.