ruc-datalab/DeepAnalyze

해결하는 문제

DeepAnalyze는 데이터 준비, 분석, 모델링, 시각화, 보고서 생성과 같은 작업에서 인간의 개입이 필요 없도록 데이터 사이언스 전체 파이프라인을 자동화하도록 설계되었습니다. 특히 데이터베이스, CSV, Excel과 같은 구조화된 데이터, JSON, XML, YAML과 같은 반구조화된 데이터, 그리고 TXT, Markdown과 같은 비구조화된 데이터 포맷을 포함한 다양한 데이터 소스에서 열린 형태의 데이터 연구 과제를 해결합니다.

작동 방식

DeepAnalyze는 데이터 소스를 자율적으로 탐색하고 데이터 중심 작업을 수행할 수 있는 에이전트형 대규모 언어 모델(LLM)입니다. 8B 파라미터 모델(DepAnalyze-8B)로 제공되며, vLLM을 통해 배포할 수 있습니다. 웹UI, JupyterUI(모델 출력을 실행 가능한 코드 셀로 변환), CLI 등 다양한 인터페이스를 지원하며, OpenAI 스타일의 API를 통해 워크플로우에 통합할 수 있습니다.

대상 사용자

데이터 분석 워크플로우를 자동화하고 원시 데이터 파일에서 분석가 수준의 연구 보고서를 생성하고자 하는 데이터 과학자, 연구자, 분석가를 위한 프로젝트입니다.

주요 특징

• 엔드투엔드 자동화: 데이터 준비부터 최종 보고서 생성까지 모든 과정을 처리합니다.
• 다양한 형식 지원: 구조화된, 반구조화된, 비구조화된 데이터 모두 지원합니다.
• 오픈소스: 모델, 학습 데이터(DataScience-Instruct-500K), 코드가 모두 완전히 오픈소스입니다.
• 유연한 배포: WebUI, JupyterUI, CLI 등 다양한 인터페이스를 지원하며, GPU 메모리 제약에 따라 다양한 양자화 옵션을 사용해 vLLM으로 배포할 수 있습니다.