pathwaycom/serviette

概要

Pathway Live Data Framework AI Pipelines は、ライブデータソース（ファイル、Google Drive、SharePoint、S3、Kafka、PostgreSQL など）上に**検索拡張生成（RAG）**サービスを構築できる、すぐに実行可能なアプリケーションテンプレートのコレクションです。各テンプレートには、データ取り込み、ベクトル/ハイブリッドインデックス、LLM 呼び出し、HTTP API（オプションで Streamlit UI）のコードがバンドルされています。重い処理はオープンソースの Pathway ライブラリが行い、リアルタイムでデータを同期し、インメモリのベクトルストア（usearch 経由）と全文インデックス（Tantivy 経由）を提供します。

重要性

• ライブ更新 – 追加、削除、変更されたドキュメントは自動的に再インデックスされるため、RAG システムは常に最新の知識から回答します。
• オールインワンスタック – 外部のベクトル DB、キャッシュ、API フレームワークを用意する必要はありません。Pathway は組み込みのベクトルインデックスと FastAPI サーバーを提供します。
• スケーラブルなテンプレート – 例では数百万ページを処理し、マルチモーダル入力（PDF テーブル、スライド、ビデオキャプション）をサポートしながら、低遅延を維持すると主張しています。
• 柔軟性 – データソースの交換、インデックスタイプの変更、LLM の置き換えを 1 行の変更で行えます。

対象ユーザー

• プロダクトチーム – 個々のコンポーネントを配線せずに、エンタープライズ検索やドキュメント QA サービスの迅速なプロトタイプが必要な場合。
• データエンジニア – 企業データを検索可能なベクトルストアに継続的に取り込むための再現可能なパイプラインが必要な場合。
• 開発者 – RAG パターン（アダプティブ RAG、マルチモーダル RAG、非構造化から SQL）のリファレンス実装を探している場合。ローカルで実行したり、クラウド/オンプレミスにデプロイしたりできます。

始め方

1. リポジトリをクローンし、templates/ の下のテンプレートフォルダ（例：question_answering_rag）を選択します。
2. テンプレートの README.md に従います – 通常は Docker イメージをビルドして実行するための 1 行のコマンドで、オプションで Streamlit UI を起動します。
3. 環境変数を使用して、データソース（ローカルフォルダ、Google Drive、S3 など）と使用する LLM（OpenAI GPT-3/4、Ollama 経由の Mistral など）を設定します。
4. コンテナは FastAPI サーバーを起動し、/query（または類似のエンドポイント）を公開します。含まれている場合は、インタラクティブなテスト用の Streamlit フロントエンドも提供します。
5. 本番環境では、Docker イメージをクラウドレジストリにプッシュし、GCP、AWS、Azure、Render、またはオンプレミスで実行します。

内容

テンプレート	コアユースケース	ハイライト
質問応答 RAG	PDF/DOCX に対するシンプルなドキュメント QA	ライブ同期、任意の LLM、デモ REST エンドポイント
ライブドキュメントインデックス	ベクトルストア as a Service	LangChain や LlamaIndex のバックエンドとして使用可能
マルチモーダル RAG（GPT-4o）	PDF からテーブル/チャートを抽出し、インデックス化	GPT-4o を使用して解析、チャートとテーブルを処理
非構造化から SQL	金融 PDF を SQL テーブルに変換し、生成されたクエリで回答
アダプティブ RAG	精度を維持しながらトークン使用量を最大 4 倍削減
プライベート RAG（Mistral + Ollama）	完全ローカルスタック、外部 API 呼び出しなし
スライド AI 検索	PowerPoint と PDF スライドをインデックス化、マルチモーダル検索
ビデオ RAG（TwelveLabs）	ビデオをリッチテキストに変換、Marengo で埋め込み、ビデオコンテンツをクエリ

コミュニティとサポート

• ヘルプ用の Discord チャンネル（discord.gg/pathway）。
• 問題はメインの Pathway リポジトリ（github.com/pathwaycom/pathway）に提出されます。
• 公式ドキュメントとその他のテンプレートは Pathway ウェブサイトにリストされています。

---

TL;DR – このリポジトリは、Pathway Live Data Framework に基づく Docker 対応の RAG アプリケーションテンプレートを提供し、多くのデータソースのリアルタイムインデックスを可能にし、外部のベクトル DB やキャッシュを必要とせずに LLM を介して回答を提供します。