ruc-datalab/DeepAnalyze

DeepAnalyze – 自律型データサイエンスエージェント

概要 – DeepAnalyzeは、人間の手を借りずにデータサイエンスワークフロー全体を実行するために構築された、オープンソースのエージェント型大規模言語モデル（LLM）です。モデル（DeepAnalyze-8B）とそのトレーニングデータ（データサイエンスタスク用の500K命令セット）はHugging Faceで公開されており、リポジトリには推論用のコード、Web UI、Jupyter UI、CLI、OpenAI互換APIが含まれています。

主な機能

• エンドツーエンドのパイプライン – 生テーブル（CSV、Excel、データベース、JSONなど）の読み込みから、クリーニング、分析、モデリング、可視化、レポート生成まで。
• 自由形式の調査 – エージェントは異種データソースを探索し、コードを記述・実行し、アナリストレベルの調査レポートを生成できます。
• 複数のフロントエンド – ブラウザベースのWebUI（v1と、Dockerサンドボックスを備えた新しいv2）、特殊タグをノートブックセルに変換するJupyterLab UI、ターミナルベースのCLI。
• vLLMを介したデプロイ – モデルはvLLM推論エンジン（vllm serve DeepAnalyze-8B）で提供でき、OpenAIスタイルのエンドポイントからアクセスできます。
• 拡張可能 – すべてのコンポーネント（モデル、データ、デモ）はオープンソースであり、リポジトリにはモデルの量子化（4ビット/8ビット）用のスクリプトやトレーニング関連パッケージが含まれています。

始め方

1. Hugging Face（またはModelScope）からモデルをダウンロードします。
2. 環境をセットアップします（conda create -n deepanalyze python=3.12、その後pip install -r requirements.txt）。
3. メモリに適した構成（例：16GB GPU用の4ビット量子化+FP8 KVキャッシュ）を選択して、vLLMでモデルを提供します。
4. デモを実行します – APIを開始し（python API/start_server.py）、demo/の短いスクリプトに従ってフロントエンド（WebUI、JupyterUI、またはCLI）のいずれかを起動します。
5. APIを使用します – OpenAI APIと同じようにファイルアップロードとチャット完了リクエストを送信します。APIキーリクエストフォームが提供されています。

重要性 – DeepAnalyzeは、通常は人間のアナリストが必要なデータサイエンスタスクを自律的に実行できる最初のLLMを目指しており、非専門家が複雑なデータから洞察を引き出すための障壁を低くします。オープンソースの性質により、研究者はエージェント型LLMを実験したり、基盤モデルを改善したり、カスタムデータ分析アシスタントを構築したりできます。

---

クイックリファレンス

• モデル: RUC-DataLab/DeepAnalyze-8B（80億パラメータ） – 量子化版も利用可能。
• トレーニングデータ: DataScience-Instruct-500K（データサイエンス用の命令追従データセット）。
• デモリンク: READMEにWebUIビデオ、JupyterUIスクリーンショット、CLIデモGIFがあります。
• 関連プロジェクト: EvoOntology、SkillAdam、DeepPrep、CoDA‑Bench（すべて同じラボから、エコシステムを拡張）。

リポジトリをクローンし、モデルを起動して、Web UIを試して、LLMが一連のCSV/Excelファイルから完全なデータサイエンスレポートを生成するのを見てください。