neuml/txtai

💡 All-in-one AI framework for semantic search, LLM orchestration and language model workflows

What it solves

txtai 是一個全功能 AI 框架，旨在簡化語義搜尋、LLM 編排和語言模型工作流的建立。它透過提供統一的向量搜尋與知識管理基礎，消除使用多個不同服務的需求，從而可用於驅動自主代理、檢索增強生成（RAG）流程以及多模型管道。

How it works

此框架圍繞一個嵌入資料庫構建，結合了向量索引（稀疏與密集）、圖網路以及關聯式資料庫。該資料庫作為各種高階元件的知識來源：

  • Pipelines: 由語言模型驅動的工具，用於問答、轉錄、翻譯與摘要等任務。
  • Workflows: 將 pipelines 結合在一起，將業務邏輯聚合為微服務或複雜的多模型序列的系統。
  • Agents: 基於 smolagents 框架的智慧實體，連結嵌入、pipelines 與 workflows，能自主解決複雜問題。
  • APIs: 提供 JavaScript、Java、Rust、Go 綁定的 Web 與 Model Context Protocol（MCP）API。

Who it’s for

面向希望構建 AI 應用的開發者——從簡單的語義搜尋工具到複雜的自主代理——他們需要一種低占用、優先本地執行的方案，支援從微模型到大型語言模型（LLM）的全部需求。

Highlights

  • Multimodal Indexing: 為文字、文件、音訊、影像與影片建立嵌入。
  • RAG Support: 內建檢索增強生成功能，透過知識庫降低 LLM 幻覺。
  • Semantic Graphs: 透過圖形分析探索主題與資料連結性。
  • Broad Model Support: 與 Hugging Face Transformers、Sentence Transformers 整合，支援 llama.cpp、LiteLLM 等多種 LLM 框架。