facebookresearch/vizseq

VizSeq – 텍스트 생성용 시각 분석 툴킷

개요 – VizSeq는 연구자와 엔지니어가 텍스트 생성 시스템(기계 번역, 요약, 이미지 캡셔닝, 음성 번역, 비디오 설명 등)의 출력을 검사할 수 있도록 도와주는 Python 라이브러리입니다. 소스 데이터, 참조 텍스트, 모델 예측을 받아 다양한 자동 메트릭을 계산하고, Jupyter 노트북이나 가벼운 웹 앱에서 탐색할 수 있는 대화형 시각화로 결과를 표시합니다.

중요성 – 현대 생성 모델은 많은 양의 출력을 생성하며, 원시 메트릭 점수(BLEU, ROUGE, BERTScore 등)는 종종 체계적인 오류를 숨깁니다. VizSeq를 사용하면 예제를 탐색하고, 여러 시스템을 나란히 비교하고, 문장별 점수, 오류 유형, 임베딩 기반 유사도까지 드릴다운할 수 있습니다. 모든 것이 멀티프로세스로 가속화됩니다. 이를 통해 디버깅, 모델 선택, 논문 작성 속도가 빨라집니다.

주요 기능

• 멀티모달 지원 – 일반 텍스트, 이미지 캡셔닝, 음성/오디오 파일, 비디오 설명 데이터와 함께 작동합니다.
• 풍부한 메트릭 스위트 – 고전적인 n-gram 메트릭(BLEU, METEOR, TER, ROUGE, CIDEr 등)과 임베딩 기반 점수(LASER, BERTScore)를 포함합니다. 모든 메트릭은 속도를 위해 병렬화됩니다.
• 대화형 시각화 – 노트북은 정렬 가능한 테이블, 산점도, 예제별 보기를 표시합니다. 번들된 웹 서버는 브라우저에서 동일한 UI를 제공합니다.
• Fairseq 통합 – Facebook의 Fairseq 훈련 파이프라인에 직접 플러그인하여 추가 변환 코드 없이 결과를 시각화합니다.
• 확장 가능 – 선택적 추가 기능으로 오디오 처리, Google 번역 조회, PyTorch를 필요로 하는 무거운 임베딩 스코어러를 추가할 수 있습니다.

일반적인 워크플로

1. 패키지(pip install vizseq)와 필요한 선택적 추가 기능을 설치합니다.
2. 다음을 포함하는 폴더를 준비합니다:
   • 소스 파일(텍스트, 이미지 경로, 오디오 파일 등)
   • 참조 텍스트
   • 모델 예측
3. 제공된 스코어러(예: vizseq-score)를 실행하여 JSON/TSV 보고서를 생성합니다.
4. 시각화 도구를 시작합니다:
   • 노트북에서: import vizseq; vizseq.show(report_path)
   • 또는 웹 서버 시작: vizseq-server --port 9001 --data-root ./examples/data를 실행하고 브라우저에서 URL을 엽니다.
5. UI를 사용하여 점수로 필터링, 길이로 정렬, 여러 시스템 비교, 논문용 그림 내보내기를 수행합니다.

설치

# 핵심 패키지(Python 3.11+)
pip install vizseq

# 선택적 추가 기능(필요에 따라 선택)
pip install vizseq[embeddings]   # LASER, BERTScore(torch 추가)
pip install vizseq[audio]        # .wav/.flac/.sph 지원
pip install vizseq[translate]    # Google 번역 API
pip install vizseq[all]          # 모든 것

리포지토리를 클론한 후 pip install -e .로 소스에서 설치할 수도 있습니다.

문서 및 예제 – 프로젝트는 전체 문서 사이트(https://facebookresearch.github.io/vizseq)를 호스팅하며, 기본 사용법, 멀티모달 MT, 다국어 MT, 음성 번역에 대한 단계별 노트북을 제공합니다. 빠른 시작 웹 앱 데모도 제공됩니다.

라이선스 – MIT(허용적, 상업적으로 친화적).

인용 – 출판물에서 VizSeq를 사용하는 경우 EMNLP-2019 시스템 데모를 인용하세요:

@inproceedings{wang2019vizseq,
  title = {VizSeq: A Visual Analysis Toolkit for Text Generation Tasks},
  author = {Changhan Wang and Anirudh Jain and Danlu Chen and Jiatao Gu},
  booktitle = {Proceedings of EMNLP 2019: System Demonstrations},
  year = {2019}
}

연락처 – Changhan Wang(changhan@fb.com) 및 Jiatao Gu(jgu@fb.com).