timeplus-io/proton

解决的问题

Timeplus Proton 是一个为实时流处理、分析和可观测性设计的高性能 SQL 流水线引擎。它作为 Apache Flink 或 ksqlDB 等复杂框架的轻量级 C++ 替代方案，无需 JVM 或 ZooKeeper，同时支持流数据处理和存储可查询的物化视图，用于分析仪表板。

工作原理

Proton 基于 ClickHouse 引擎构建，通过扩展其存储和计算能力来支持流处理。它使用单个 C++ 二进制文件，并采用 SIMD 优化，实现高吞吐量和低延迟。用户主要通过 SQL 创建外部流（例如来自 Kafka 或 Redpanda）和外部表，并使用物化视图实现实时数据转换和路由。

适用人群

适用于构建实时 ETL 流水线、带告警的遥测流水线，以及需要低延迟、高吞吐量处理实时数据的 AI/ML 模型的实时特征流水线的数据工程师和开发者。

主要亮点

• 高性能：可实现高达每秒 9000 万事件（EPS），端到端延迟为毫秒级。
• 零依赖：以单个二进制文件（<500MB）分发，无需 JVM 或 ZooKeeper。
• 广泛连接性：原生支持 Kafka、ClickHouse、MySQL、Postgres、MongoDB 以及 S3/Iceberg 等数据源和目标。
• 流式 SQL：支持 tumble、hop 和 session 窗口、水印以及增量物化视图。
• 可扩展性：支持使用 Python 和 JavaScript 编写的用户自定义函数（UDF）。