neuml/txtai

해결하는 문제

txtai는 의미 검색, LLM 오케스트레이션, 언어 모델 워크플로우 생성을 간소화하기 위해 설계된 종합적인 AI 프레임워크입니다. 분리된 원격 서비스를 조합할 필요 없이, LLM 애플리케이션을 위한 벡터 검색과 지식 소스의 통합 기반을 제공합니다.

작동 방식

이 프레임워크는 벡터 인덱스(희소 및 밀집형), 그래프 네트워크, 관계형 데이터베이스를 통합한 임베딩 데이터베이스를 중심으로 구축됩니다. 이 기반은 다음과 같은 핵심 구성 요소를 지원합니다:

• 파이프라인: 질문 응답, 음성 인식, 번역, 요약과 같은 작업을 위한 언어 모델 기반 프로세스.
• 워크플로우: 파이프라인을 연결하여 비즈니스 로직을 마이크로서비스 또는 다중 모델 워크플로우로 집약하는 시스템.
• 에이전트: smolagents 프레임워크 기반의 자율 엔티티로, 임베딩, 파이프라인, 워크플로우를 연결하여 복잡한 문제를 해결합니다.
• 임베딩: 텍스트, 문서, 오디오, 이미지, 비디오에 대한 임베딩 생성을 지원합니다.

대상 사용자

여러 개의 별도 AI 도구와 데이터베이스를 관리할 필요 없이 의미 검색 엔진, RAG(Retrieval Augmented Generation) 시스템, 자율 에이전트와 같은 AI 애플리케이션을 개발하고자 하는 개발자들.

주요 특징

• 다중 모달 인덱싱: 텍스트, 오디오, 이미지, 비디오 간 벡터 검색을 지원합니다.
• RAG 지원: LLM의 환각 현상을 줄이기 위한 Retrieval Augmented Generation 기능을 내장하고 있습니다.
• 확장 가능한 API: JavaScript, Java, Rust, Go용 바인딩이 있는 Web 및 Model Context Protocol (MCP) API를 제공합니다.
• 로컬 실행: 원격 서비스로 데이터를 전송하지 않고 로컬에서 실행할 수 있습니다.
• 광범위한 모델 호환성: Hugging Face Transformers, Sentence Transformers와 호환되며, llama.cpp 및 LiteLLM와 통합 가능합니다.