ruc-datalab/DeepAnalyze

DeepAnalyze – 自主数据科学智能体

它是什么 – DeepAnalyze 是一个开源、智能体式的大型语言模型（LLM），旨在无需人工干预即可运行整个数据科学工作流。该模型（DeepAnalyze-8B）及其训练数据（一个用于数据科学任务的 500K 指令集）已在 Hugging Face 上发布，仓库中包含推理代码、Web UI、Jupyter UI、CLI 和 OpenAI 兼容 API。

关键能力

• 端到端管道 – 从加载原始表格（CSV、Excel、数据库、JSON 等）到清洗、分析、建模、可视化和报告生成。
• 开放式研究 – 智能体可以探索异构数据源、编写并运行代码，以及生成分析师级别的研究报告。
• 多种前端 – 基于浏览器的 WebUI（v1 和带有 Docker 沙箱的更新版 v2）、将特殊标签转换为笔记本单元格的 JupyterLab UI，以及基于终端的 CLI。
• 通过 vLLM 部署 – 可以使用 vLLM 推理引擎（vllm serve DeepAnalyze-8B）提供模型服务，并通过 OpenAI 风格端点访问。
• 可扩展 – 所有组件（模型、数据、演示）都是开源的，仓库包含用于量化模型（4 位/8 位）和训练相关包的脚本。

如何开始

1. 从 Hugging Face（或 ModelScope）下载模型。
2. 设置环境（conda create -n deepanalyze python=3.12 然后 pip install -r requirements.txt）。
3. 使用 vLLM 提供模型服务，选择适合内存的配置（例如，针对 16GB GPU 使用 4 位量化 + FP8 KV 缓存）。
4. 运行演示 – 启动 API（python API/start_server.py）并按照 demo/ 中的简短脚本启动其中一个前端（WebUI、JupyterUI 或 CLI）。
5. 使用 API – 像 OpenAI API 一样发送文件上传和聊天补全请求；提供了 API 密钥请求表单。

为什么重要 – DeepAnalyze 旨在成为第一个能够自主执行通常需要人类分析师才能完成的数据科学任务的 LLM，从而降低非专家从杂乱数据中提取见解的门槛。其开源性使研究人员能够试验智能体式 LLM、改进底层模型或构建自定义数据分析助手。

---

快速参考

• 模型：RUC-DataLab/DeepAnalyze-8B（80 亿参数） – 提供量化版本。
• 训练数据：DataScience-Instruct-500K（用于数据科学的指令遵循数据集）。
• 演示链接：README 中的 WebUI 视频、JupyterUI 截图、CLI 演示 GIF。
• 相关项目：EvoOntology、SkillAdam、DeepPrep、CoDA‑Bench（均来自同一实验室，扩展生态系统）。

随意克隆仓库、启动模型，并尝试 Web UI，看看 LLM 如何从一组 CSV/Excel 文件生成完整的数据科学报告。