neuml/txtai

💡 All-in-one AI framework for semantic search, LLM orchestration and language model workflows

What it solves

txtai는 의미 검색, LLM 오케스트레이션 및 언어 모델 워크플로우 생성을 단순화하도록 설계된 올인원 AI 프레임워크입니다. 여러 이질적인 서비스를 동시에 다룰 필요 없이 벡터 검색 및 지식 관리에 대한 통합 기반을 제공하여 이를 자율 에이전트, Retrieval Augmented Generation(RAG) 프로세스 및 멀티 모델 파이프라인에 활용할 수 있습니다.

How it works

이 프레임워크는 벡터 인덱스(희소 및 밀집), 그래프 네트워크, 관계형 데이터베이스를 결합한 임베딩 데이터베이스를 중심으로 구축됩니다. 이 데이터베이스는 다양한 고수준 컴포넌트의 지식 소스로 작동합니다.

  • Pipelines: 질문 응답, 전사, 번역, 요약 등 작업을 위한 언어 모델 기반 도구.
  • Workflows: 파이프라인을 연결해 비즈니스 로직을 마이크로서비스 또는 복잡한 멀티 모델 시퀀스로 집계하는 시스템.
  • Agents: smolagents 프레임워크 위에 구축된 지능형 엔터티로, 임베딩, 파이프라인, 워크플로우를 연결해 복잡한 문제를 자율적으로 해결합니다.
  • APIs: JavaScript, Java, Rust, Go 바인딩을 제공하는 웹 및 Model Context Protocol(MCP) API.

Who it’s for

간단한 의미 검색 도구부터 복잡한 자율 에이전트까지 AI 애플리케이션을 구축하려는 개발자를 위한 것입니다. 로컬 우선 접근 방식을 취하며, 마이크로 모델부터 대형 언어 모델(LLM)까지 모두 지원하는 저용량 솔루션입니다.

Highlights

  • Multimodal Indexing: 텍스트, 문서, 오디오, 이미지, 비디오에 대한 임베딩 생성.
  • RAG Support: 지식 베이스를 활용한 Retrieval Augmented Generation을 통해 LLM 환각을 감소시키는 기능을 내장.
  • Semantic Graphs: 그래프 분석을 통해 주제와 데이터 연결성을 탐색할 수 있음.
  • Broad Model Support: Hugging Face Transformers, Sentence Transformers와 통합하고, llama.cpp 및 LiteLLM 등 다양한 LLM 프레임워크를 지원.