NVIDIA-NeMo/DataDesigner

해결하는 문제

단순한 프롬프팅을 넘어 프로덕션 수준의 합성 데이터셋을 생성하기 위한 프레임워크를 제공합니다. 다양한 통계적 분포, 데이터 필드 간의 의미 있는 상관관계, 그리고 AI 모델 학습이나 테스트를 위한 검증된 고품질 출력물에 대한 요구를 해결합니다.

작동 방식

Data Designer는 유연한 구성 시스템을 사용하여 데이터셋을 구축합니다. 사용자는 범주형 또는 인구 통계 데이터용 샘플러, 텍스트 생성용 LLM, 시각적 콘텐츠용 이미지 모델 등 다양한 방법을 사용하여 열을 정의할 수 있습니다. 의존성 인식 생성을 지원하여 한 필드가 다른 필드에 영향을 줄 수 있습니다. 또한 이 프레임워크는 MCP 서버를 통해 외부 도구와 통합하여 상호작용 추적을 캡처하며, Python, SQL 또는 LLM 판정자를 사용하여 출력을 점수화할 수 있는 검증 계층을 포함합니다.

대상 사용자

AI 개발을 위해 고품질 합성 텍스트, 구조화된 데이터 또는 멀티모달 데이터셋(이미지, 오디오, 비디오 컨텍스트 포함)이 필요한 개발자 및 연구원.

주요 특징

• 멀티모달 생성: 텍스트, 구조화된 데이터 및 이미지 지원.
• 의존성 제어: 생성 과정에서 서로 다른 데이터 필드 간의 관계 관리.
• 검증 제품군: SQL, Python 및 LLM 기반 판정자를 사용하여 데이터를 점수화하고 검증하는 내장 도구 포함.
• 확장 가능한 아키텍처: 열, 시드 리더 및 프로세서에 대한 사용자 정의 플러그인 허용.
• 에이전트 통합: 코딩 에이전트가 스키마 설계 및 생성을 자동으로 처리할 수 있는 특정 기술 제공.