ruc-datalab/DeepAnalyze

解决的问题

DeepAnalyze 旨在自动化整个数据科学流程，消除在数据准备、分析、建模、可视化和报告生成等任务中对人工干预的需求。它特别针对跨多种数据源的开放式数据研究挑战，包括结构化数据（数据库、CSV、Excel）、半结构化数据（JSON、XML、YAML）和非结构化数据（TXT、Markdown）。

工作原理

DeepAnalyze 是一个代理型大语言模型（LLM），能够自主探索数据源并执行以数据为中心的任务。它以 8B 参数模型（DeepAnalyze-8B）的形式提供，可通过 vLLM 部署。该系统支持多种交互接口，包括 WebUI、JupyterUI（将 LLM 输出转换为可执行代码单元格）以及 CLI。它还可以通过 OpenAI 风格的 API 集成到工作流中。

适用人群

本项目适用于希望自动化数据分析工作流并从原始数据文件生成分析师级研究报告的数据科学家、研究人员和分析师。

主要亮点

• 端到端自动化：从数据准备到最终报告生成的全流程处理。
• 多格式支持：支持结构化、半结构化和非结构化数据。
• 开源：模型、训练数据（DataScience-Instruct-500K）和代码均完全开源。
• 灵活部署：支持 WebUI、JupyterUI 和 CLI 等多种接口，可通过 vLLM 使用不同量化选项，在不同 GPU 内存约束下进行部署。