BIT-DataLab/Edit-Banana

해결하는 문제

Edit Banana는 다이어그램, 플로우차트, 기술적 회로도의 정적 이미지를 완전히 편집 가능한 DrawIO (XML) 파일로 변환합니다. 비편집 가능한 형식에서 복잡한 다이어그램을 수동으로 재생성할 필요 없이 원래 레이아웃, 논리적 관계, 텍스트를 재구성합니다.

작동 방식

이 프로젝트는 다이어그램을 재구성하기 위해 다단계 파이프라인을 사용합니다:

1. 세그멘테이션: 최적화된 SAM 3 (Segment Anything Model 3)이 개별 다이어그램 요소를 식별하고 마스크합니다.
2. 텍스트 추출: 로컬 OCR (Tesseract 또는 PaddleOCR)를 사용해 텍스트 위치를 식별하고, Pix2Text를 통해 수식을 LaTeX로 변환합니다.
3. VLM 안내: 다중 라운드 스캔을 통해 다중모달 대규모 언어 모델(VLM)이 추출 과정을 안내합니다.
4. XML 생성: 세그멘테이션 단계의 공간 데이터와 OCR 단계의 텍스트를 결합하여 DrawIO 호환 XML 파일을 생성합니다.

대상 사용자

논문, 발표 자료, 레거시 문서에서 발견된 기존 다이어그램을 편집해야 하지만 원본 소스 파일이 없는 연구자, 엔지니어, 학생들을 위한 것입니다.

주요 기능

• 고정밀 재구성: 레이아웃 논리, 색상 일치, 요소 계층 구조, 화살표 스타일(두께 및 점선)을 유지합니다.
• 수식 지원: LaTeX 변환을 통해 과학적 수식을 특별히 처리합니다.
• 편집 가능한 출력: 표준 DrawIO XML을 생성하여 사용자가 요소를 개별적으로 드래그하고 스타일을 수정할 수 있습니다.
• 성능 최적화: 스레드 세이프한 GPU 접근을 위한 글로벌 락과 이미지 임베딩을 지속하는 LRU 캐시를 포함합니다.