llama_index: 它是什么，解决了什么问题以及为什么它正受到关注

解决了什么问题

LlamaIndex 是一个旨在通过私有数据增强大语言模型 (LLMs) 的数据框架。它通过提供一个用于摄取、构建结构和检索私有信息的工具包，解决了 LLMs 受限于其预训练公开数据的难题。

工作原理

LlamaIndex 提供了一套工具来弥合您的数据与 LLMs 之间的差距：

• Data Connectors：从各种来源和格式（PDFs, APIs, SQL 等）摄取数据。
• Data Structuring：将数据组织成索引或图，使其为 LLM 准备就绪。
• Retrieval/Query Interface：一个高级接口，接收 LLM prompt 并根据检索到的私有数据返回上下文增强的输出。
• Integrations：与 LangChain, Flask 或 Docker 等其他应用框架无缝连接。

适合人群

• Beginners：可以使用高级 API 在几行代码内完成数据摄取和查询的人员。
• Advanced Users：需要自定义和扩展检索器 (retrievers)、查询引擎 (query engines) 和重排序模块 (reranking modules) 等模块的开发人员。

亮点

• 拥有超过 300 个针对 LLMs, embeddings 和 vector stores 的集成包。
• 支持入门级包 (llama-index) 和自定义核心包 (llama-index-core)。
• 能够将数据持久化到磁盘以实现高效重载。
• 与 LlamaParse 集成，用于智能代理 OCR 和结构化数据提取。