pathwaycom/llm-app

What it solves

このプロジェクトは、大規模かつ高精度な RAG (Retrieval-Augmented Generation) とエンタープライズ検索のために設計された、即時デプロイ可能な AI アプリケーションテンプレートセットを提供します。個別のベクターデータベース、キャッシュ、API フレームワークなどの複雑な複雑なインフラストラクチャの依存関係を維持する問題を、これらのコンポーネントを統一されたパイプラインに統合することで解決します。

How it works

パイプラインは Pathway Live Data Framework に基づいて構築されており、Google Drive、S3、Kafka、PostgreSQL といったデータソースとのリアルタイム同期を処理します。システムは、組み込みのインメモリ・インデックス（usearch によるベクター検索と Tantivy による全文検索）を使用して、ハイブリッド検索機能を実現します。これらのアプリケーションは Docker コンテナとしてデプロイ可能であり、HTTP API を公開してフロントエンドとの接続を実現します。一部のテンプレートにはテスト用の Streamlit UI が含まれています。

Who it's for

リアルタイムのデータソースと同期を維持し、数百万ページのドキュメントにスケールアップできる、プロダクションレディな RAG アプリケーションを迅速にデプロイしたい開発者や企業です。

Highlights

• Live Data Sync: 様々なファイルシステムやクラウドストレージから、追加、削除、更新を自動的に同期します。
• Canned Templates: マルチモーダル RAG (GPT-4o)、ビデオ RAG (TwelveLabs)、非構造化データを SQL に変換する専用パイプラインが含まれています。
• Infrastructure-less: 組み込みのインメモリ・インデックスを使用することで、外部のベクターデータベースや Redis キャッシュの必要性を排除します。
• LlamaIndex/LangChain Integration: 既存の LLM フレームワークの検索器（retriever）バックエンドとして使用できます。
• Adaptive RAG: 精度を維持しながら、トークンコストをを 4 倍削減できる技術を搭載しています。