pathwaycom/pathway

Pathway – 실시간 데이터 프레임워크

무엇인가요 – Pathway는 배치 및 스트리밍 데이터 모두에서 작동하는 데이터 파이프라인을 구축하기 위한 오픈소스 파이썬 라이브러리입니다. 내부적으로 Differential Dataflow 기반의 고성능 루스트 엔진이 파이썬으로 정의된 로직을 실행하여, 순수한 파이썬으로 작업하면서 멀티스레딩, 멀티프로세싱, 분산 실행을 가능하게 합니다.

AI에 왜 중요한가요 – 프레임워크는 LLM x‑pack을 제공하며, 래퍼, 파서, 임베딩기, 스플리터, 메모리 내 벡터 인덱스를 포함하고, LangChain 및 LlamaIndex와의 통합도 제공합니다. 이를 통해 새로운 데이터에 즉각 반응하는 실시간 검색 증강 생성(RAG) 또는 기타 LLM 기반 워크플로우를 쉽게 만들고 배포할 수 있습니다.

주요 기능

• 일관된 배치 및 스트리밍 처리 – 파이프라인을 한 번 작성하면 정적 파일 또는 실시간 스트림에서 동일한 코드로 실행 가능.
• 풍부한 커넥터 생태계 – Kafka, PostgreSQL, GDrive, SharePoint, Airbyte(300개 이상의 소스)의 내장 지원과 함께 사용자 정의 파이썬 커넥터 추가 가능.
• 상태 기반 연산자 – 조인, 윈도우 처리, 정렬, 임의의 파이썬 UDF가 루스트 엔진에서 빠르게 실행.
• 지속성 및 일관성 – 자동 상태 체크포인트; 무료 티어는 최소 한 번의 세미틱스를 제공하며, 엔터프라이즈 티어는 정확히 한 번을 추가.
• 확장 가능한 실행 – 로컬에서 멀티스레딩, Docker/Kubernetes에서 컨테이너 실행 가능; 엔터프라이즈 버전은 분산 클라우드 배포 지원.
• LLM 도우미 – 주요 LLM 서비스용 즉시 사용 가능한 래퍼, 실시간 벡터 인덱싱, LangChain/LlamaIndex 호환성.

대표적인 사용 사례

• 실시간 ETL (예: Kafka 토픽 수신, 변환, 데이터베이스 로드).
• 이벤트 기반 알림 파이프라인.
• 실시간 회귀 분석 또는 대시보드와 같은 지속적 분석.
• 최신 문서를 수신하고 임베딩한 후 즉시 쿼리에 응답하는 실시간 LLM/RAG 애플리케이션.

시작하기

pip install -U pathway   # macOS 또는 Linux에서 Python 3.10+ 사용 가능

최소한의 "양수의 합" 파이프라인:

import pathway as pw

class Input(pw.Schema):
    value: int

src = pw.io.csv.read("./input/", schema=Input)
pos = src.filter(src.value >= 0)
out = pos.reduce(sum_val=pw.reducers.sum(pos.value))

pw.io.jsonlines.write(out, "output.jsonl")

pw.run()

python my_pipeline.py 또는 pathway spawn python my_pipeline.py로 스크립트를 실행하여 엔진이 스레드를 관리하게 할 수 있습니다.

배포 옵션

• 로컬 – 단순히 pathway를 가져오고 pw.run()을 호출하기만 하면 됩니다.
• Docker – 공식 pathwaycom/pathway 이미지를 사용하거나, 어떤 파이썬 베이스 이미지에서도 pip로 설치 가능.
• Kubernetes / 클라우드 – 엔터프라이즈 버전에서는 컨테이너가 확장 가능하며, Render에서의 빠른 시작 방법은 문서에 기재되어 있습니다.
• 모니터링 – 내장 대시보드로 커넥터의 처리량과 지연 시간을 확인할 수 있습니다.

성능 – 벤치마크에 따르면, 시간적 조인이나 반복 알고리즘을 필요로 하는 워크로드에서 Flink, Spark, Kafka Streams보다 더 높은 처리량을 달성한다고 주장합니다.

문서 및 지원 – 전체 문서는 https://pathway.com/developers/, API 참조, 예제 템플릿, Discord 커뮤니티, 이슈 트래커 제공.

라이선스 – Business Source License 1.1 (비상업적 사용 및 대부분의 상업적 사용은 무료). 4년 후 코어 코드는 Apache 2.0로 재라이선스됩니다. 지원 리포지토리는 MIT 라이선스입니다.

---

결론 – Pathway는 데이터 엔지니어와 AI 개발자가 파이썬으로 작성한 파이프라인을 "루스트 속도"로 실행할 수 있게 해주며, 과거 데이터와 실시간 데이터를 모두 처리하고, LLM 중심의 RAG 워크플로우에 최고 수준의 지원을 제공합니다.