timeplus-io/proton

해결하는 문제

Timeplus Proton은 실시간 스트림 처리, 분석 및 관찰을 위한 고성능 SQL 파이프라인 엔진입니다. Apache Flink이나 ksqlDB와 같은 복잡한 프레임워크의 가벼운 C++ 기반 대안으로, JVM이나 ZooKeeper를 필요로 하지 않으면서도 스트리밍 데이터를 처리하고 분석 대시보드용 쿼리 가능한 물리적 뷰를 저장할 수 있습니다.

작동 방식

Proton은 ClickHouse 엔진을 기반으로 하며, 스트리밍 처리를 위해 저장 및 계산 능력을 확장합니다. SIMD 최적화를 갖춘 단일 C++ 바이너리로 고처리량과 낮은 지연을 제공합니다. 사용자는 주로 SQL을 통해 외부 스트림(예: Kafka 또는 Redpanda에서)과 외부 테이블을 생성하고, 물리적 뷰를 사용하여 실시간으로 데이터를 변환하고 라우팅합니다.

대상 사용자

실시간 ETL 파이프라인, 알림 기능이 있는 텔레메트리 파이프라인, AI/ML 모델에 필요한 저지연, 고처리량의 실시간 데이터 처리를 필요로 하는 실시간 특징 파이프라인을 구축하는 데이터 엔지니어 및 개발자입니다.

주요 특징

• 고성능: 최대 9000만 이벤트/초(EPS)를 처리하며, 엔드투엔드 지연은 밀리초 수준입니다.
• 의존성 없음: JVM이나 ZooKeeper를 필요로 하지 않으며, 단일 바이너리(<500MB)로 배포됩니다.
• 광범위한 연결성: Kafka, ClickHouse, MySQL, Postgres, MongoDB, S3/Iceberg 등의 소스 및 싱크를 네이티브로 지원합니다.
• 스트리밍 SQL: 터블, 호프, 세션 윈도우, 워터마크, 증분 물리적 뷰를 지원합니다.
• 확장성: Python 및 JavaScript로 사용자 정의 함수(UDF)를 지원합니다.