pathwaycom/llm-app

What it solves

Pathway AI Pipelines は、高精度 RAG（Retrieval‑Augmented Generation）およびエンタープライズ検索アプリケーションをスケールして迅速にデプロイする手段を提供します。ライブデータソースと自動的に同期することで、AI アプリケーションを常に最新の状態に保ち、ベクトルデータベース、キャッシュ、API フレームワーク用の別個のインフラを用意する必要をなくします。

How it works

このフレームワークは Pathway Live Data Framework（Rust エンジンを持つ Python ライブラリ）を使用し、Google Drive、S3、Kafka、PostgreSQL、ローカルファイルシステムなどのソースからデータを同期します。usearch（ベクトル検索）と Tantivy（全文検索）を用いたインメモリインデックスを組み込んだ、すぐにデプロイ可能なテンプレートを提供します。これらのパイプラインは Docker コンテナとして実行でき、フロントエンド統合用に HTTP API を公開します。

Who it’s for

リアルタイムデータ同期が必要で、インフラ負荷を最小限に抑えた RAG アプリケーションを構築・スケールしたい開発者や企業向けです。

Highlights

• Live Data Sync：さまざまなクラウドおよびオンプレミスのデータソースからの追加、削除、更新を自動で処理します。
• Integrated Stack：データインデックス、検索、LLM ロジックを単一フレームワークに統合し、外部ベクトル DB やキャッシュが不要です。
• Diverse Templates：基本的な QA RAG、GPT‑4o を使用したマルチモーダル RAG、Ollama 経由のプライベートローカル RAG、非構造化データから SQL への変換パイプラインなどのテンプレートを含みます。
• Scalability：数百万ページに及ぶドキュメントへスケール可能です。