NVIDIA-NeMo/DataDesigner

해결하는 문제

기본적인 LLM 프롬프팅을 넘어 검증 및 점수 산정을 통해 데이터의 다양성, 통계적 정확성 및 고품질을 보장함으로써 프로덕션급 합성 데이터 세트 생성을 단순화합니다.

작동 방식

Data Designer는 사용자가 통계적 샘플러, LLM 기반 생성 또는 시드 데이터 세트를 사용하여 열을 정의할 수 있는 유연한 프레임워크를 사용합니다. 필드 간의 관계를 유지하기 위한 의존성 인식 생성을 지원하며, 독립적인 열을 중첩시켜 성능을 최적화하는 비동기 엔진을 채택합니다. 시스템에는 내장된 검증기(Python, SQL 및 원격)와 출력이 품질 표준을 충족하는지 확인하기 위한 LLM-as-a-judge 점수 산정 기능이 포함되어 있습니다.

대상

AI 모델 학습 또는 테스트를 위해 고품질의 구조화된 합성 데이터가 필요한 개발자 및 연구자, 그리고 데이터 세트 스키마 설계 및 생성을 자동화하기 위해 코딩 에이전트를 사용하는 사용자.

주요 특징

• 다양한 생성 방법: 통계적 샘플러, LLM 및 시드 데이터를 결합합니다.
• 의존성 인식 생성: 서로 다른 데이터 필드 간의 관계를 제어합니다.
• 품질 보증: Python, SQL 및 사용자 정의 검증기와 LLM-as-a-judge 점수 산정 통합.
• 성능 최적화: 더 빠른 파이프라인 실행을 위한 셀 수준의 비동기 엔진.
• 에이전트 통합: 설계 및 생성 프로세스를 자동화하기 위한 코딩 에이전트용 스킬 포함.