NVIDIA-NeMo/DataDesigner

解決的問題

它簡化了生產級合成數據集的創建，超越了基礎的 LLM 提示詞工程，透過驗證與評分來確保數據的多樣性、統計準確性與高品質。

工作原理

Data Designer 使用一個靈活的框架，使用者可以使用各種方法定義列：統計採樣器、基於 LLM 的生成或種子數據集。它支援感知依賴關係的生成，以維持欄位之間的關係，並採用非同步引擎透過重疊獨立欄位來優化效能。該系統包含內建的驗證器（Python、SQL 與遠端）以及 LLM-as-a-judge 評分，以確保輸出符合品質標準。

適用對象

需要高品質、結構化合成數據用於 AI 模型訓練或測試的開發人員與研究人員，以及使用編碼代理（coding agents）來自動執行數據集模式設計與生成的開發者。

亮點

• 多樣化的生成方法：結合了統計採樣器、LLM 與種子數據。
• 感知依賴關係的生成：控制不同數據欄位之間的關係。
• 品質保證：整合了 Python、SQL 與自定義驗證器，以及 LLM-as-a-judge 評分。
• 效能優化：用於更快執行流水線的單元級非同步引擎。
• 代理整合：包含用於自動化設計與生成過程的編碼代理技能。