shaiwz/data-platform-open

解決する課題

ビッグデータ統合における複雑さと時間のかかる作業を解決します。高度な開発者がハードコーディングされた同期、フィルタリング、変換ロジックを記述する必要はなく、ノーコードのビジュアルなドラッグ＆ドロップインターフェースを使用してデータフローを構築できます。

仕組み

このプラットフォームは、コンポーネントをドラッグ＆ドロップしてデータ同期、クレンジング、フィルタリング操作を定義できるビジュアルキャンバスを提供します。AI機能を統合しており、自然言語を通じてデータフローの構築やクエリテンプレートの作成を支援します。バックエンドはさまざまなデータソース（MySQL, StarRocks, Doris, Oracle, Kafka, ElasticSearch）をサポートし、FlinkCDCやCanalからのメッセージを取り込むことができます。また、異なるデータソース間の一致性を検証し、自動修復を行うデータアライメントシステムも含まれています。

対象ユーザー

大量のコードを書かずにビッグデータパイプラインを管理する必要があるジュニア開発者や運用担当者、およびデータ統合タスクにかかる時間を削減したい組織向けに設計されています。

主な特徴

• ノーコード・ビジュアルインターフェース: ドラッグ＆ドロップキャンバスを使用して、複雑なデータフローやレポート生成を構築。
• AIによる支援: 自然言語を使用してデータフローやクエリテンプレートを構築し、詳細なAI推論ログとトークン追跡を提供。
• インテリジェントなデータクエリ: データに基づいて回答を提供する「AIスマートクエリ」機能。
• データアライメント: 異なるデータソースやテーブルタイプ間の一致性チェックと自動修復。
• 高性能: ストリーム処理とバッチ処理の両方で高いスループットをサポート。
• 動的スケーリング: サービスインスタンスは、負荷に応じて動的な拡張と縮小をサポート。