spitfireuptown/datalinkx

🔥🔥DatalinkX异构数据源之间的数据同步系统，支持海量数据的增量或全量同步，同时支持HTTP、Oracle、MySQL、ES等数据源之间的数据流转，支持中间transform算子如SQL算子、大模型算子，底层依赖Flink、Seatunnel引擎，提供流转任务管理、任务级联配置、任务日志采集等功能🔥🔥

What it solves

DatalinkX は、異なる異種データソース間でデータを移動するためのデータ同期サービスです。同期タスクとログの管理を集中化し、部署間でのデータ連携（例：クローラーのデータをデータウェアハウスへ移動）に必要な手動作業を負荷を軽減します。

How it works

本システムは、データソースと同期タスクの設定を行うための Web ベースのインターフェースを提供します。Flink と SeaTunnel のような高性能計算エンジンを利用して、データ移動を実行します。バッチタスク（データベース間のデータ移動）、リアルタイムタスク（特に Kafka 用）、および transform オペレーターを使用してデータ変換を可能にする計算タスクをサポートします。スケジューリングは cron 式を使用して xxl-job を介して行われます。

Who it’s for

大規模なデータニーズを持つ組織向けです。異なるチームがさまざまなデータベース型を介してデータを共有し、、管理・維持するための集中化された方法を求めている組織に適しています。

Highlights

  • High-Performance Engines: Flink と SeaTunnel を使用して効率的なデータ処理を行います。
  • Plugin-based Architecture: 固定のルールに従ってドライバーを開発することで、カスタムデータソースをサポートします。
  • Visual Configuration: GUI を通 통해 データソースと同期タスクを作成できます。手動コーディングは不要です。
  • Task Lineage and Cascading: タスク間の関係性を追跡し、タスクシーケンスを構成するための機能が含まれています。
  • AI Integration: LLM 実行のための Ollama と、MCP (Model Context Protocol) 機能のための Solon を統合しています。