deepset-ai/haystack

解决的问题

Haystack 是一个旨在将 LLM 应用从原型阶段推向生产环境的 AI 编排框架。它提供了构建可扩展的检索增强生成（RAG）系统、自主代理和语义搜索应用所需的工具，同时保持对数据处理方式的明确控制。

工作原理

该框架采用基于管道和代理工作流的模块化架构。用户可以组合内置的索引、检索、路由和生成组件，也可以创建自定义组件。它与模型和供应商无关，允许开发者轻松更换 LLM（如 OpenAI、Anthropic 或本地模型）以及基础设施组件，而无需重写整个系统。它还支持原生异步操作和令牌流式传输。

适用人群

专为需要构建具备深度定制性、可追溯性，并能跨不同模型提供商扩展的生产级 AI 系统的 Python 开发者和 AI 工程师设计。

主要亮点

• 生产就绪的代理：包含用于护栏的生命周期钩子、令牌使用量和成本监控，以及用于渐进式技能发现的 SkillToolset。
• 上下文工程：提供对信息检索、排序、过滤和路由方式的明确控制，确保在到达模型前完成精细处理。
• 供应商无关：支持与 Hugging Face、Google、Azure OpenAI 和 AWS Bedrock 等多种提供商集成。
• 可扩展生态系统：通过一致的接口支持自定义组件的创建与共享，构建可扩展的生态体系。