ScrollPrize/villa

해결하는 문제

이 프로젝트는 기계학습과 컴퓨터 비전을 활용하여 고대 헤르쿨라네움의 초상들을 읽는 것을 목표로 하는 Vesuvius Challenge를 위한 포괄적인 도구 세트를 제공합니다. CT 스캔에서 탄화된 파피루스 위의 잉크를 탐지하고, 가상으로 초상들을 펼치는(세그멘테이션) 문제를 해결합니다.

작동 방식

이 리포지토리는 파이프라인의 각 단계에 맞는 라이브러리와 파이프라인의 모음입니다:

• 접근 및 학습: vesuvius 라이브러리는 CT 스캔 접근과 표면 예측을 위한 ML 모델의 학습/추론을 담당합니다.
• 잉크 탐지: ink-detection 도구 세트는 2023년 대상 수상자 기반 모델을 사용하여 초상 위의 잉크를 식별합니다.
• 부피학습: dinovol은 부피 표현을 학습하기 위한 자기지도 3D DINO를 구현합니다.
• 가상 전개(세그멘테이션): 여러 파이프라인이 제공되며, VC3D(반자동 표면 추적기), lasagna(PyTorch 기반 표면 메시 최적화 프레임워크), spiral fitting(초상에 글로벌 나선을 자동으로 피팅하는 자동 파이프라인)이 포함됩니다.

대상 사용자

물리적으로 열지 않고 CT 스캔을 통해 탄화된 초상들을 읽고자 하는 연구자, 컴퓨터 비전 전문가, 고대 텍스트 연구자.

주요 특징

• 다양한 전개 방법: 3D 볼륨에서 섬유 추적 및 표면 추출을 위한 다양한 접근 방식 제공.
• 대상 수상 기술 포함: 대회 우승 에너지 기반의 잉크 탐지 도구 포함.
• 3D 표현 학습: 자기지도 학습을 통해 CT 스캔 데이터 내 패턴을 식별.
• 통합 생태계: Hugging Face를 통해 데이터 처리, 클라우드 인프라 관리, 모델 체크포인트를 통합.