qiantongtech/qData

何を解決するか

qData は、企業のデータガバナンスと開発を簡素化するためのオープンソースデータミドルプラットフォームです。MySQL、Oracle、DM8 などの複数のデータベースに散在するデータを管理する課題に対応し、ETL、データモデリング、アセット管理のための中央集権的なシステムを提供します。

動作方法

このプラットフォームは、フロントエンドとバックエンドを分離したアーキテクチャ（Vue 3 と Spring Boot）を採用し、さまざまなワークロードを処理するための複数の実行エンジンとスケジューラーを統合しています。

• データ統合： 軽量な同期には DataX を、大規模なオフライン処理には Spark を使用。
• スケジューリング： 簡単な定期タスクには Quartz を、複雑な視覚的タスクオーケストレーションには DolphinScheduler を採用。
• AI統合： Text2SQL と自然言語処理を組み込み、ビジネスユーザーが自然言語でデータを照会できるようにします。
• ガバナンス： メタデータ収集、データ品質監査、アセットカタログ化のためのモジュールを提供。

対象ユーザー

• データ開発チーム： ETLワークフローとSQLベースのデータ処理タスクの構築に使用。
• データガバナンスチーム： データ標準、メタデータ、品質検査の管理に使用。
• ビジネス分析チーム： AI駆動の自然言語インターフェースを通じてデータを照会・分析。
• 開発者/ISV： カスタムデータサービスプラットフォームの構築基盤として利用。

特徴

• 視覚的ETL： データアクセス、クリーニング、変換のドラッグアンドドロップ設定。
• AI駆動のデータQ&A： 自然言語によるデータ質問をSQLに変換（Text2SQL）し、インテリジェントなチャート分析を実行。
• マルチエンジン対応： 実行には DataX/Spark、スケジューリングには Quartz/DolphinScheduler の柔軟な選択が可能。
• 包括的なガバナンス： データモデリング、メタデータ管理、データ品質監査のための統合ツール。
• APIデータサービス： SQLクエリ結果をAPIサービスとしてカプセル化し、システム統合を可能に。