Hugging Face Trackio 릴리스

Hugging Face는 경량 실험 추적을 위해 설계된 오픈소스 Python 라이브러리 Trackio를 소개했습니다. 로컬 대시보드를 통해 메트릭과 파라미터를 시각화하고, 결과를 Hugging Face Spaces와 무료로, 공개 혹은 비공개 협업 형태로 동기화할 수 있습니다.

주요 기술적 장점

Trackio는 독점적이거나 복잡한 실험 추적 도구와 관련된 일반적인 문제점을 해결하도록 설계되었습니다. 주요 장점은 다음과 같습니다:

  • 원활한 공유 및 임베딩: 사용자는 iframe을 통해 훈련 플롯을 문서나 블로그 게시물에 직접 삽입할 수 있어, 이해관계자가 계정을 만들 필요 없이 메트릭을 볼 수 있습니다.
  • 데이터 접근성 및 투명성: 독점 API를 가진 도구와 달리, Trackio는 기록된 데이터를 쉽게 추출하고 분석할 수 있게 합니다. 특히 nvidia-smi 명령에서 직접 데이터를 가져와 GPU 에너지 사용량을 추적할 수 있으며, 이를 모델 카드에 추가해 환경 영향을 정량화할 수 있습니다.
  • 성능 최적화: 라이브러리의 경량 설계 덕분에 연구자는 로깅 중 텐서를 GPU에서 CPU로 이동시키는 시점을 제어할 수 있어, 훈련 처리량에 미치는 영향을 줄일 수 있습니다.
  • 로컬 우선 아키텍처: 로그와 대시보드는 기본적으로 로컬에 저장되어, 사용자가 선택적으로 클라우드와 동기화하기 전까지 데이터가 사용자 통제 하에 유지됩니다.

API 호환성 및 사용법

Trackio는 wandb의 대체품으로 설계되었습니다. API는 wandb.init, wandb.log, wandb.finish와 호환되며, 사용자는 import 문을 import trackio as wandb로 바꾸는 것만으로 마이그레이션할 수 있습니다.

설치

Trackio는 pip 또는 uv를 통해 설치할 수 있습니다:

pip install trackio

시각화 및 공유

사용자는 trackio show 명령이나 Python 함수 trackio.show()를 사용해 로컬 대시보드를 실행할 수 있습니다. 대시보드를 Hugging Face Spaces와 동기화하려면 초기화 시 space_id를 제공합니다:

trackio.init(project="fake-training", space_id="org_name/space_name")

Spaces의 일시적인 Sqlite 데이터베이스로 인한 데이터 손실을 방지하기 위해, Trackio는 데이터베이스를 자동으로 Parquet 데이터셋으로 변환하고 5분마다 Hugging Face Dataset에 백업합니다. 사용자는 trackio.init() 시 선택적으로 커스텀 dataset_id를 지정할 수 있습니다.

생태계 통합

Trackio는 Hugging Face 생태계와 네이티브하게 통합되어, 해당 라이브러리를 이미 사용 중인 사용자에게 최소한의 설정만 필요합니다:

  • Transformers Trainer: TrainingArguments에서 report_to="trackio"를 설정하면, Trainer API가 자동으로 메트릭을 Trackio에 기록합니다.
  • Accelerate: Accelerator를 log_with="trackio"로 초기화하면, 사용자는 accelerator.log()를 사용해 훈련 단계와 메트릭을 기록할 수 있습니다.

설계 원칙 및 현재 제한 사항

Trackio는 다음 핵심 원칙을 기반으로 구축되었습니다:

  • API 호환성: 추적 라이브러리 간 원활한 마이그레이션을 보장합니다.
  • 경량 코어: 코드베이스가 1,000줄 이하의 Python으로 구성되어 커뮤니티가 쉽게 수정할 수 있습니다.
  • 오픈소스 및 무료: Hugging Face에서의 호스팅을 포함한 모든 기능이 무료로 제공됩니다.
  • 인프라: 시각화와 데이터 처리를 위해 Hugging Face Datasets와 Spaces 위에 구축되었습니다.

현재 라이브러리는 베타 단계이므로 아직 아티팩트 관리나 복잡한 시각화를 지원하지 않습니다. Hugging Face는 커뮤니티가 GitHub 이슈를 통해 기능 요청을 기여하도록 장려합니다.

Sources