software-mansion-labs/react-native-rag

解决的问题

React Native RAG 提供了一个直接在移动设备上实现检索增强生成（RAG）的框架。它允许开发者通过本地知识库增强 LLM，确保 AI 响应私有且高效，因为数据和推理都在设备上进行。

工作原理

该库采用模块化架构构建，由四个主要接口组成：LLM、Embeddings、VectorStore 和 TextSplitter。开发者可以单独使用这些组件，也可以通过高级 useRAG 钩子或 RAG 类进行编排。它通过 @react-native-rag/executorch 插件支持设备端推理，并使用 @react-native-rag/op-sqlite 进行基于 SQLite 的本地向量存储持久化。

适用对象

使用 React Native 的移动开发者，希望将私有本地 AI 功能和语义搜索集成到他们的应用程序中，而无需依赖基于云的 LLM 服务。

亮点

• 设备端推理：使用 ExecuTorch 在本地运行模型，确保隐私和速度。
• 模块化设计：允许替换或实现 LLM、嵌入和向量存储组件的自定义版本。
• 持久化：支持通过 SQLite 在本地保存和管理向量存储。
• 灵活集成：提供基于钩子的方法用于简单设置，以及基于类的方法用于高级控制。