neuml/txtai

💡 All-in-one AI framework for semantic search, LLM orchestration and language model workflows

What it solves

txtai 是一个全功能 AI 框架，旨在简化语义搜索、LLM 编排和语言模型工作流的创建。它通过提供统一的向量搜索和知识管理基础，消除了使用多个不同服务的需求，从而可以用于驱动自主代理、检索增强生成（RAG）流程以及多模型管道。

How it works

该框架围绕一个嵌入数据库构建，融合了向量索引（稀疏和稠密）、图网络以及关系型数据库。该数据库作为各种高级组件的知识来源：

  • Pipelines: 由语言模型驱动的工具，用于问答、转录、翻译和摘要等任务。
  • Workflows: 将 pipelines 组合在一起，将业务逻辑聚合为微服务或复杂的多模型序列的系统。
  • Agents: 基于 smolagents 框架的智能实体，连接嵌入、pipelines 和 workflows，能够自主解决复杂问题。
  • APIs: 提供 JavaScript、Java、Rust、Go 绑定的 Web 与 Model Context Protocol（MCP）API。

Who it’s for

面向希望构建 AI 应用的开发者——从简单的语义搜索工具到复杂的自主代理——他们需要一种低占用、优先本地运行的方案，支持从微模型到大型语言模型（LLM）的全部需求。

Highlights

  • Multimodal Indexing: 为文本、文档、音频、图像和视频创建嵌入。
  • RAG Support: 内置检索增强生成能力，通过知识库降低 LLM 幻觉。
  • Semantic Graphs: 通过图分析探索主题和数据连通性。
  • Broad Model Support: 与 Hugging Face Transformers、Sentence Transformers 集成，支持 llama.cpp、LiteLLM 等多种 LLM 框架。