pathwaycom/pathway

Pathway – ライブデータフレームワーク

何であるか – Pathway は、バッチデータとストリーミングデータの両方で動作するデータパイプラインを構築するためのオープンソースPythonライブラリです。裏では、Differential Dataflowに基づく高性能RustエンジンがPythonで定義されたロジックを実行し、純粋なPythonで作業しながらマルチスレッド、マルチプロセス、分散実行を実現します。

AIにとってなぜ重要か – フレームワークには LLM x‑pack が同梱されており、ラッパー、パーサー、エンベッダー、スプリッター、インメモリベクターインデックスに加え、LangChainおよびLlamaIndexとの統合が含まれます。これにより、新しいデータに即座に反応するリアルタイムの検索拡張生成（RAG）やその他のLLM駆動ワークフローを簡単に作成・デプロイできます。

主な機能

• バッチ・ストリームの統合処理 – パイプラインを一度書くだけで、静的ファイルまたはライブストリームで同じコードを実行可能。
• 豊富なコネクタエコシステム – Kafka、PostgreSQL、GDrive、SharePoint、Airbyte（300以上）の組み込みサポートに加え、カスタムPythonコネクタの追加も可能。
• ステートフルなオペレータ – ジョイン、ウィンドウ処理、ソート、任意のPython UDFがRustエンジン上で高速に実行。
• 永続化と整合性 – 自動ステートチェックポイント；フリーティアは最低1回のセマンティクス、エンタープライズティアは正確1回をサポート。
• スケーラブルな実行 – ローカルでマルチスレッド、Docker/Kubernetes上のコンテナで実行可能；エンタープライズ版では分散クラウドデプロイも可能。
• LLMヘルパー – 主要LLMサービス用の即時ラッパー、リアルタイムベクターインデックス、LangChain/LlamaIndexとの互換性。

一般的な利用事例

• リアルタイムETL（例：Kafkaトピックのインジェスト、変換、データベースへのロード）。
• イベント駆動型アラートパイプライン。
• ライブ回帰やダッシュボードなどの継続的分析。
• 新規ドキュメントをインジェストし、エンベッドして即座にクエリに応答するライブLLM/RAGアプリケーション。

導入方法

pip install -U pathway   # macOSまたはLinux上のPython 3.10+で使用可能

最小限の「正の数の合計」パイプライン：

import pathway as pw

class Input(pw.Schema):
    value: int

src = pw.io.csv.read("./input/", schema=Input)
pos = src.filter(src.value >= 0)
out = pos.reduce(sum_val=pw.reducers.sum(pos.value))

pw.io.jsonlines.write(out, "output.jsonl")

pw.run()

python my_pipeline.py または pathway spawn python my_pipeline.py でスクリプトを実行し、エンジンがスレッドを管理させます。

デプロイオプション

• ローカル – ただ pathway をインポートして pw.run() を呼び出すだけ。
• Docker – 公式の pathwaycom/pathway イメージを使用するか、任意のPythonベースイメージで pip でインストール。
• Kubernetes / クラウド – エンタープライズ版ではコンテナがスケーリング可能；Renderでのクイックスタート手順はドキュメントに記載。
• モニタリング – ビルトインダッシュボードでコネクタのスループットとレイテンシを確認可能。

パフォーマンス – ベンチマークでは、時系列ジョインや反復アルゴリズムが必要なワークロードにおいて、Flink、Spark、Kafka Streamsよりも高いスループットを達成していると主張しています。

ドキュメントとサポート – 完全なドキュメントは https://pathway.com/developers/ に、APIリファレンス、例テンプレート、Discordコミュニティ、イシュー追跡システムあり。

ライセンス – Business Source License 1.1（非商業利用および大多数の商業利用は無料）。4年後にコアコードはApache 2.0に再ライセンス。サポートリポジトリはMITライセンス。

---

結論 – Pathwayは、データエンジニアとAI開発者がPythonで書いたパイプラインを「Rustの速度」で実行でき、過去データとリアルタイムデータの両方を扱い、LLM中心のRAGワークフローを最高のサポートで実現できるフレームワークです。