neuml/txtai

何を解決するか

txtai は、意味検索、LLMオーケストレーション、および言語モデルワークフローの作成を簡素化する、ワンストップAIフレームワークです。分散したリモートサービスを組み合わせる必要を排除し、LLMアプリケーションのためのベクトル検索と知識ソースの統合基盤を提供します。

動作方法

このフレームワークは、ベクトルインデックス（スパースおよび密度型）、グラフネットワーク、リレーショナルデータベースを統合した埋め込みデータベースを中心に構築されています。この基盤は以下の主要なコンポーネントをサポートしています：

• パイプライン： 質問応答、音声認識、翻訳、要約などのタスクに使用する言語モデル駆動のプロセス。
• ワークフロー： パイプラインを結合してビジネスロジックをマイクロサービスやマルチモデルワークフローに集約するシステム。
• エージェント： smolagentsフレームワークに基づく自律的なエージェントで、埋め込み、パイプライン、ワークフローを接続して複雑な問題を解決します。
• 埋め込み： テキスト、ドキュメント、音声、画像、動画の埋め込み作成をサポートします。

対象ユーザー

複数の別々のAIツールやデータベースを管理する必要なく、意味検索エンジン、RAG（Retrieval Augmented Generation）システム、自律エージェントなどのAIアプリケーションを開発したい開発者。

特徴

• マルチモーダルインデキシング： テキスト、音声、画像、動画の間でベクトル検索をサポート。
• RAGサポート： LLMの誤検出を抑えるためのRetrieval Augmented Generation機能を内蔵。
• 拡張可能なAPI： JavaScript、Java、Rust、Go用のバインディングを備えたWebおよびModel Context Protocol (MCP) APIを提供。
• ローカル実行： リモートサービスにデータを送信せずにローカルで実行可能。
• 広範なモデル互換性： Hugging Face Transformers、Sentence Transformersと互換性があり、llama.cppおよびLiteLLMと統合可能。