timeplus-io/proton

何を解決するか

Timeplus Proton は、リアルタイムストリーム処理、分析、および監視に向けた高性能 SQL パイプラインエンジンです。Apache Flink や ksqlDB といった複雑なフレームワークの軽量な C++ ベースの代替品として機能し、JVM や ZooKeeper を必要とせず、ストリーミングデータの処理と分析ダッシュボード用のクエリ可能な物化ビューの保存の両方を可能にします。

動作方法

Proton は ClickHouse エンジンに基づいて構築されており、ストレージおよび計算能力をストリーム処理に拡張しています。SIMD 最適化を備えた単一の C++ バイナリを使用し、高スループットと低レイテンシを実現します。ユーザーは主に SQL を使って外部ストリーム（例：Kafka や Redpanda から）や外部テーブルを作成し、物化ビューを使ってデータをリアルタイムで変換・ルーティングします。

対象ユーザー

リアルタイム ETL パイプライン、アラート機能付きテレメトリパイプライン、AI/ML モデルに必要な低レイテンシ・高スループットのライブデータ処理を必要とするリアルタイム特徴量パイプラインを構築するデータエンジニアおよび開発者向けです。

特徴

• 高性能: 最大 9000 万イベント/秒（EPS）を達成し、エンドツーエンドのレイテンシはミリ秒単位。
• 依存関係ゼロ: JVM や ZooKeeper を必要とせず、単一のバイナリ（<500MB）として配布。
• 広範な接続性: Kafka、ClickHouse、MySQL、Postgres、MongoDB、S3/Iceberg などのソースおよびシンクをネイティブでサポート。
• ストリーミング SQL: トゥブル、ホップ、セッションウィンドウ、ウォーターマーク、インクリメンタルな物化ビューをサポート。
• 拡張性: Python および JavaScript でのユーザー定義関数（UDF）をサポート。