neuml/txtai

💡 All-in-one AI framework for semantic search, LLM orchestration and language model workflows

What it solves

txtai は、セマンティック検索、LLM オーケストレーション、言語モデルワークフローの作成をシンプルにするために設計されたオールインワン AI フレームワークです。複数の異種サービスを使い分ける必要がなく、ベクトル検索とナレッジマネジメントの統一基盤を提供し、これを自律エージェント、Retrieval Augmented Generation（RAG）プロセス、マルチモデルパイプラインの動力源として利用できます。

How it works

このフレームワークは、ベクトルインデックス（スパースとデンスの両方）、グラフネットワーク、リレーショナルデータベースを組み合わせた 埋め込みデータベース を中心に構築されています。このデータベースは、さまざまな上位コンポーネントの知識源として機能します。

  • Pipelines: 質問応答、文字起こし、翻訳、要約などのタスク向けに、言語モデルで駆動されるツール。
  • Workflows: パイプラインを組み合わせてビジネスロジックをマイクロサービスや複雑なマルチモデルシーケンスに集約するシステム。
  • Agents: smolagents フレームワーク上に構築されたインテリジェントエンティティで、埋め込み、パイプライン、ワークフローを結びつけて自律的に複雑な問題を解決します。
  • APIs: JavaScript、Java、Rust、Go 用バインディングを備えた Web および Model Context Protocol（MCP）API。

Who it’s for

シンプルなセマンティック検索ツールから高度な自律エージェントまで、AI アプリケーションを構築したい開発者向けです。ローカルファーストでフットプリントが小さく、マイクロモデルから大規模言語モデル（LLM）まで幅広くサポートします。

Highlights

  • Multimodal Indexing: テキスト、ドキュメント、音声、画像、動画の埋め込みを作成。
  • RAG Support: ナレッジベースを利用した Retrieval Augmented Generation による LLM の幻覚（ハルシネーション）削減機能を内蔵。
  • Semantic Graphs: グラフ分析を通じてトピックやデータの接続性を探索可能。
  • Broad Model Support: Hugging Face Transformers、Sentence Transformers と統合し、llama.cpp や LiteLLM など様々な LLM フレームワークをサポート。