확장 가능한 데이터 검사를 위한 Hugging Face와 Renumics Spotlight 통합

Hugging Face와 Renumics Spotlight는 머신러닝 실무자가 한 줄의 코드로 데이터셋을 대화형으로 탐색하고 시각화할 수 있도록 통합되었습니다. 이 통합은 Hugging Face datasets 라이브러리와 대화형 시각화 도구 사이의 간격을 메워 중요한 데이터 클러스터와 실패 모드를 식별하는 과정을 간소화합니다.

Hugging Face Datasets와의 원활한 통합

Spotlight는 Hugging Face datasets 라이브러리 위에 직접 작동하도록 설계되어 데이터 복사나 전처리가 필요하지 않습니다. 이 라이브러리가 Apache Arrow 테이블을 사용하는 방식을 활용하여 테이블 형식의 메타데이터와 구조화되지 않은 데이터(이미지 및 오디오 등)를 통합된 형식으로 저장합니다.

Key technical characteristics of the integration include:

  • Lazy Loading: 성능을 유지하기 위해 Spotlight는 탭ular 데이터를 메모리에 로드하여 효율적인 클라이언트 측 분석을 수행하면서, 메모리를 많이 소비하는 비구조화된 샘플(비디오, 오디오, 이미지)은 필요 시에만 지연 로드합니다.
  • Automatic Type Inference: 대부분의 경우, 데이터 유형과 레이블 매핑은 데이터셋 기능에서 자동으로 추론됩니다. 애매한 경우, Spotlight API는 spotlight.Image 또는 spotlight.dtypes.CategoryDType와 같은 데이터 유형을 수동으로 할당할 수 있도록 허용합니다.
  • Minimal Setup: 사용자는 데이터셋을 로드하고 spotlight.show(ds)를 호출하여 시각화를 시작할 수 있습니다.

모델 결과를 활용한 데이터 검사

원시 비구조화된 데이터는 종종 제한된 통찰만 제공합니다. 중요한 데이터 세그먼트와 모델 실패 모드를 발견하기 위해, Spotlight는 사용자가 예측 및 임베딩과 같은 모델 출력을 시각화 워크플로에 직접 통합할 수 있도록 허용합니다.

모델 enrichment 워크플로

실무자는 transformers 라이브러리를 사용하여 임베딩과 예측을 계산한 후, .map() 함수를 이용해 이러한 결과를 Hugging Face 데이터셋에 다시 저장할 수 있습니다. 이렇게 'enriched'된 데이터셋은 debug_classification 레이아웃과 같은 특정 Spotlight 레이아웃을 사용하여 시각화할 수 있으며, 이 레이아웃은 유사도 맵과 혼동 행렬과 같은 도구를 제공하여 모델 성능을 분석합니다.

데이터 저장 권장사항

Hugging Face는 레이블 매핑을 유지하고 라이브러리의 배치 처리 기능을 활용하기 위해 예측 결과를 Hugging Face 데이터셋 내에 직접 저장할 것을 권장합니다.

데이터 검사 워크플로 사용자 정의

Spotlight는 데이터를 검사하는 방식을 사용자 정의하기 위해 GUI와 Python API 둘 다 제공합니다:

  • GUI Customization: 사용자는 인터페이스 내에서 시각화 레이아웃을 대화형으로 변경, 저장, 로드할 수 있습니다.
  • Inspector Widget: 시계열, 오디오, 비디오, 텍스트, 이미지와 같은 멀티모달 데이터를 표현할 수 있는 전문 위젯입니다.
  • Python API: 이 API는 탐색적 데이터 분석(EDA), 모델 모니터링, 모델 디버깅을 위한 맞춤형 큐레이션 워크플로 생성을 허용합니다. 또한 데이터 문제 위젯을 통해 외부 데이터 품질 검사 스크립트의 결과를 통합할 수도 있습니다.

Hugging Face Hub에서의 배포

로컬 사용 외에도, Spotlight 시각화는 Hugging Face Spaces를 사용하여 Hugging Face Hub에 호스팅할 수 있습니다.これにより 개발자는 다른 사용자에게 자신의 데이터셋 또는 모델 결과를 선보일 수 있습니다. 사용자는 기존 Spotlight 예시 스페이스를 복제하고, HF_DATASET 환경 변수를 지정하여 자신의 데이터셋(특정 분할, 부분 집합, 또는 revision 포함)을 가리키도록 구성할 수 있습니다.

Sources