ruc-datalab/DeepAnalyze

解決的問題

DeepAnalyze 設計用於自動化整個資料科學流程，消除在資料準備、分析、建模、視覺化和報告生成等任務中對人工介入的需求。它特別針對跨多樣資料來源的開放式資料研究挑戰，包括結構化資料（資料庫、CSV、Excel）、半結構化資料（JSON、XML、YAML）以及非結構化資料（TXT、Markdown）。

工作原理

DeepAnalyze 是一個代理型大型語言模型（LLM），能夠自主探索資料來源並執行以資料為中心的任務。它以 8B 參數模型（DeepAnalyze-8B）的形式提供，可透過 vLLM 部署。系統支援多種介面互動，包括 WebUI、JupyterUI（將 LLM 輸出轉換為可執行的程式碼單元格）以及 CLI。也可透過 OpenAI 風格的 API 整合至工作流程中。

適用對象

本專案適合希望自動化資料分析工作流程，並從原始資料檔案生成分析師等級研究報告的資料科學家、研究人員與分析師。

主要亮點

• 端對端自動化：從資料準備到最終報告生成的全流程處理。
• 多格式支援：支援結構化、半結構化與非結構化資料。
• 開源：模型、訓練資料（DataScience-Instruct-500K）與程式碼皆完全開源。
• 彈性部署：支援 WebUI、JupyterUI 與 CLI 等多種介面，可透過 vLLM 使用不同量化選項，在不同 GPU 記憶體限制下進行部署。