run-llama/llama_index

解决的问题

LlamaIndex 是一个旨在通过外部数据源增强大型语言模型（LLM）的数据框架。它解决了将 LLM 与外部数据源连接的挑战，使模型能够基于原始训练数据之外的特定私有信息进行推理。

工作原理

该框架提供了一套编排工具，用于构建代理应用程序和 RAG（检索增强生成）管道。其核心组件包括：

• 数据连接器：支持从 API、PDF、SQL 数据库、文档等多种格式和来源中摄取数据。
• 数据结构化：将摄取的数据组织成索引或图结构，使其适合 LLM 使用。
• 招聘/查询接口：提供高级检索接口，接收用户提示，并基于检索到的上下文返回知识增强的输出。
• 集成：可与 LangChain、Flask 或 Docker 等外部应用框架集成。

适用人群

适用于初学者用户，可通过高阶 API 仅用几行代码即可完成数据摄取和查询；也适用于高级用户，可自定义低阶模块，如检索器、重排序模块和查询引擎。

主要亮点

• 丰富的集成生态系统：通过 LlamaHub 提供超过 300 个集成包，支持 LLM、嵌入模型和向量存储。
• LlamaParse：专为从 130 多种文档格式中进行代理式 OCR 和结构化数据提取而设计的平台。
• 灵活的架构：提供“Starter”包用于快速部署，以及“Customized”核心包用于模块化构建。
• 持久化支持：支持将索引持久化到磁盘，实现高效重载。