deepset-ai/haystack

해결하는 문제

Haystack는 LLM 애플리케이션을 프로토타입에서 본격적인 운영 환경으로 전환하기 위한 AI 오케스트레이션 프레임워크입니다. 확장 가능한 검색 보강 생성(RAG) 시스템, 자율 에이전트, 의미 기반 검색 애플리케이션을 구축할 수 있는 도구를 제공하며, 데이터 처리 방식에 대해 명시적인 제어를 유지합니다.

작동 방식

이 프레임워크는 파이프라인과 에이전트 워크플로우 기반의 모듈식 아키텍처를 사용합니다. 인덱싱, 검색, 라우팅, 생성을 위한 내장 컴포넌트를 조합하거나, 사용자 정의 컴포넌트를 만들 수 있습니다. 모델 및 벤더에 독립적이며, OpenAI, Anthropic, 또는 로컬 모델과 같은 LLM을 쉽게 교체하거나, 인프라 컴포넌트를 변경해도 전체 시스템을 다시 작성할 필요가 없습니다. 또한 네이티브 비동기 작업과 토큰 스트리밍을 지원합니다.

대상 사용자

심층적인 커스터마이징, 추적 가능성, 다양한 모델 제공업체 간 확장성을 필요로 하는 Python 개발자 및 AI 엔지니어를 위한 것입니다.

주요 특징

• 본격 운영용 에이전트: 가드레일용 라이프사이클 훅, 토큰 사용량 및 비용 모니터링, 점진적인 기술 탐색을 위한 SkillToolset 포함
• 컨텍스트 엔지니어링: 모델에 도달하기 전에 정보를 검색, 순위 매기기, 필터링, 라우팅하는 방식에 대해 명시적인 제어 가능
• 벤더 독립성: Hugging Face, Google, Azure OpenAI, AWS Bedrock 등 다양한 제공업체와 통합 가능
• 확장 가능한 생태계: 일관된 인터페이스를 통해 사용자 정의 컴포넌트를 만들고 공유할 수 있음