ruc-datalab/DeepAnalyze

DeepAnalyze – 자율 데이터 과학 에이전트

개요 – DeepAnalyze는 인간의 개입 없이 전체 데이터 과학 워크플로우를 실행하도록 설계된 오픈소스 에이전트형 대규모 언어 모델(LLM)입니다. 모델(DeepAnalyze-8B)과 학습 데이터(데이터 과학 작업용 500K 명령 세트)는 Hugging Face에 공개되어 있으며, 리포지토리에는 추론 코드, 웹 UI, Jupyter UI, CLI, OpenAI 호환 API가 포함되어 있습니다.

주요 기능

• 엔드투엔드 파이프라인 – 원시 테이블(CSV, Excel, 데이터베이스, JSON 등) 로드부터 정제, 분석, 모델링, 시각화, 보고서 생성까지.
• 개방형 연구 – 에이전트는 이기종 데이터 소스를 탐색하고, 코드를 작성하고 실행하며, 분석가 수준의 연구 보고서를 생성할 수 있습니다.
• 다중 프런트엔드 – 브라우저 기반 WebUI(v1 및 Docker 샌드박스가 있는 최신 v2), 특수 태그를 노트북 셀로 변환하는 JupyterLab UI, 터미널 기반 CLI.
• vLLM을 통한 배포 – 모델은 vLLM 추론 엔진(vllm serve DeepAnalyze-8B)으로 제공할 수 있으며 OpenAI 스타일 엔드포인트로 접근할 수 있습니다.
• 확장 가능 – 모든 구성 요소(모델, 데이터, 데모)는 오픈소스이며, 리포지토리에는 모델 양자화(4비트/8비트) 및 학습 관련 패키지용 스크립트가 포함되어 있습니다.

시작 방법

1. Hugging Face(또는 ModelScope)에서 모델을 다운로드합니다.
2. 환경을 설정합니다(conda create -n deepanalyze python=3.12 후 pip install -r requirements.txt).
3. 메모리에 적합한 구성(예: 16GB GPU용 4비트 양자화 + FP8 KV 캐시)을 선택하여 vLLM으로 모델을 제공합니다.
4. 데모 실행 – API 시작(python API/start_server.py) 및 demo/의 짧은 스크립트에 따라 프런트엔드(WebUI, JupyterUI 또는 CLI) 중 하나를 실행합니다.
5. API 사용 – OpenAI API와 동일하게 파일 업로드 및 채팅 완료 요청을 보냅니다. API 키 요청 양식이 제공됩니다.

중요성 – DeepAnalyze는 일반적으로 인간 분석가가 필요한 데이터 과학 작업을 자율적으로 수행할 수 있는 최초의 LLM을 목표로 하며, 비전문가가 지저분한 데이터에서 인사이트를 추출하는 장벽을 낮춥니다. 오픈소스 특성으로 연구자들은 에이전트형 LLM을 실험하고, 기본 모델을 개선하거나, 맞춤형 데이터 분석 어시스턴트를 구축할 수 있습니다.

---

빠른 참조

• 모델: RUC-DataLab/DeepAnalyze-8B(80억 파라미터) – 양자화 버전 제공.
• 학습 데이터: DataScience-Instruct-500K(데이터 과학용 지시 따르기 데이터셋).
• 데모 링크: README에 WebUI 비디오, JupyterUI 스크린샷, CLI 데모 GIF가 있습니다.
• 관련 프로젝트: EvoOntology, SkillAdam, DeepPrep, CoDA‑Bench(모두 동일한 연구실에서 생태계 확장).

리포지토리를 클론하고, 모델을 실행하고, 웹 UI를 통해 LLM이 CSV/Excel 파일 세트에서 전체 데이터 과학 보고서를 생성하는 것을 확인해 보세요.