langroid/langroid

What it solves

Langroid 是一個輕量且可擴充的 Python 框架，旨在簡化 LLM 驅動應用程式的開發。它解決了協調多個 AI 代理共同解決問題的複雜性，提供結構化的替代方案，著重於開發者體驗與彈性。

How it works

Langroid 使用受 Actor Framework 啟發的多代理範式。開發者設定 Agents，並為其配備特定元件，如 LLM、向量儲存庫以及工具或函式。這些代理隨後被指派任務，透過交換訊息協同工作。框架支援廣泛的 LLM（包括本地與遠端模型）、多模態輸入（PDF、影像），並可整合各種向量資料庫與工具適配器，如 MCP（Model Context Protocol）。

Who it’s for

此框架適合想要建構可投入生產的 LLM 應用程式的開發者與研究者，特別是需要多代理協調、RAG（檢索增強生成）系統或結構化資訊抽取的情境。

Highlights

• Multi-Agent Orchestration: 直觀的 Agent 與 Task 抽象，支援協同解題。
• Broad LLM Support: 可與幾乎所有 LLM 配合，包括 OpenAI、Gemini、DeepSeek，以及透過 Ollama 或 Groq 的本地模型。
• Advanced RAG Capabilities: 包含 DocChatAgent，提供文件式 QA，支援多種 PDF 解析器與向量資料庫（如 Qdrant、Pinecone、pgvector）。
• Extensible Tooling: 支援函式呼叫、基於 XML 的工具，以及 MCP 工具適配器以利用 MCP 伺服器。
• Developer-Centric Features: 包含無限迴圈偵測、血統追蹤以實現「倒帶與重做」功能，並提供 HTML logger 以視覺化任務。