datavane/tis

解決する課題

TISは、AIを活用してデータパイプラインの作成と管理を自動化することで、従来型データエンジニアリングの複雑さを解消します。手動設定や複雑なSQL記述の必要性を排除し、ユーザーが自然言語を使用してデータワークフローを構築し、データ分析を実行できるようにします。

仕組み

TISは、大規模言語モデル（LLM）をデータライフサイクルに直接統合します。Pipeline AI Agentを使用して自然言語のリクエストを解釈し、プラグインの自動選択、パラメータ設定、タスクのオーケストレーションを行います。データ分析には、オントロジー層とNeo4jベースのナレッジグラフを活用してビジネス用語を理解するChatBIモジュールを採用しています。次に、GraphRAG（検索拡張生成）を使用して関連するデータエンティティを検索し、ユーザーがSQLを書くことなくインサイトを生成します。基盤となるエンジンには、DataXやFlink-CDCといった実績のあるデータエンジンが採用されています。

対象ユーザー

TISは、パイプラインのオーケストレーションを簡素化したいデータエンジニアや、SQLの技術的専門知識なしにデータ分析を行いインサイトを得る必要があるビジネスユーザー向けに設計されています。

ハイライト

• 自然言語パイプライン：要件を平易な言葉で記述するだけでデータパイプラインを作成できます。
• ChatBI：データに関する質問を自然言語で行い、GraphRAGとビジネスナレッジグラフに基づいた回答を得られます。
• ナレッジ資産管理：オントロジー層とNeo4jを使用して、ビジネス定義、メトリクス、エンティティ関係を保存・進化させます。
• 実績のあるインフラ：DataXやFlink-CDCといった信頼性の高いバッチおよびストリーム処理エンジンを基盤としています。
• 拡張可能なアーキテクチャ：Jenkinsに触発されたプラグインベースのシステムを備えており、容易な拡張とカスタム開発が可能です。