deepset-ai/haystack

Open-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.

What it solves

Haystack 是一個 AI 編排框架，旨在構建可投入生產的 LLM 應用。它解決了檢索、路由、記憶與生成的複雜性，提供透明且可擴展的方式，讓開發者能自信地從實驗階段過渡到部署階段。

How it works

它採用模組化架構，開發者設計管線與代理工作流程。這些管線由索引、檢索與工具呼叫等元件組成，開發者可透過迴圈、分支與條件邏輯自訂或擴充，以控制上下文在系統中的流動方式。

Who it’s for

此框架專為使用 Python 構建可擴展 RAG 系統、多模態應用、語意搜尋、問答系統與自主代理的開發者而設。

Highlights

  • Model- and vendor-agnostic: 支援廣泛的供應商，包括 OpenAI、Mistral、Anthropic、Cohere、Hugging Face、Azure OpenAI 與 AWS Bedrock。
  • Context Engineering: 提供對資訊檢索、排序、過濾與路由的明確控制，直至送入模型前。
  • Modular Ecosystem: 內建記憶與評估元件，並提供一致的介面供社群貢獻的擴充套件使用。
  • Production-Ready: 可透過 Hayhooks 部署為 REST API 或 MCP 伺服器。