run-llama/llama_index

解決的問題

LlamaIndex 是一個專為增強大型語言模型（LLM）而設計的資料框架。它解決了將 LLM 與外部資料來源連接的挑戰，讓模型能基於原始訓練資料以外的特定私有資訊進行推理。

如何運作

此框架提供一組編排工具，用於建構代理應用程式與 RAG（檢索增強生成）流程。其運作依賴於幾個核心元件：

• 資料連接器：可從 API、PDF、SQL 資料庫、文件等多種格式與來源中攝取資料。
• 資料結構化：將攝取的資料整理成索引或圖結構，使其適合 LLM 使用。
• 招聘/查詢介面：提供進階檢索介面，接收使用者提示，並根據檢索到的上下文返回知識增強的輸出。
• 整合功能：可與 LangChain、Flask 或 Docker 等外部應用框架整合。

適用對象

適合初學者使用者，僅需幾行程式碼即可透過高階 API 完成資料攝取與查詢；也適合進階使用者，可自訂低階模組，如檢索器、重排序模組與查詢引擎。

主要特色

• 廣泛的整合生態系統：透過 LlamaHub 提供超過 300 個整合套件，支援 LLM、嵌入模型與向量儲存。
• LlamaParse：專為從超過 130 種文件格式中進行代理式 OCR 與結構化資料萃取而設計的平台。
• 彈性架構：提供「Starter」套件以快速設定，以及「Customized」核心套件以模組化建構。
• 持久化支援：支援將索引持久化至磁碟，實現高效重載。