PAIR-code/lit

해결하는 문제

LIT는 기계학습 모델을 이해하고 디버깅할 수 있는 시각적이고 인터랙티브한 방법을 제공합니다. 개발자들이 모델이 성능이 낮은 부분을 식별하고, 특정 예측이 왜 이루어졌는지 이해하며, 입력 데이터의 다양한 변형에 대해 모델이 일관되게 동작하는지 테스트할 수 있도록 도와줍니다.

작동 방식

LIT는 브라우저 기반 UI로 작동하며, 독립 서버로 실행하거나 Colab 및 Jupyter와 같은 노트북 환경에 통합할 수 있습니다. 프레임워크에 종속되지 않으며, TensorFlow와 PyTorch를 모두 지원합니다. 사용자는 도구의 API를 사용해 사용자 정의 데이터 로더와 모델 래퍼를 통해 자신의 모델과 데이터셋을 연결할 수 있습니다.

대상 사용자

분류, 회귀, 언어 모델링과 같은 다양한 작업에서 텍스트, 이미지, 표 형식 데이터에 대해 동일한 모델의 성능을 분석하고 해석해야 하는 머신러닝 엔지니어 및 연구자들.

주요 기능

• 로컬 설명: 사리언스 맵과 풍부한 시각화를 사용해 개별 예측을 설명합니다.
• 집계 분석: 슬라이싱, 비닝, 임베딩 공간 시각화를 지원하여 모델 행동을 대규모로 분석합니다.
• 대체 예시 생성: 사용자가 입력을 수동으로 편집하거나 플러그인을 사용해 새로운 예시를 생성하여 동적 평가를 수행할 수 있습니다.
• 측면 비교: 여러 모델을 비교하거나, 동일한 모델이 다른 예시에 대해 어떻게 반응하는지 비교할 수 있습니다.
• 확장 가능한 아키텍처: seq2seq, 스팬 레이블링 등 다양한 모델 유형과 멀티헤드 모델을 지원합니다.