Kohulan/DECIMER-Image_Transformer

해결하는 문제

화학자들은 논문, 데이터베이스 또는 손으로 그린 스케치에서 화학 구조 이미지를 자주 접합니다. 이를 수동으로 기계 판독 가능한 형식으로 옮기는 작업은 시간이 많이 걸리고 오류가 발생하기 쉽습니다. DECIMER는 광학 화학 구조 인식 (OCSR)을 자동화합니다. 분자 이미지를 입력받아 화학 정보학에서 사용하는 표준 텍스트 표현인 해당 SMILES 문자열을 출력합니다.

작동 원리

DECIMER는 두 가지 주요 부분으로 구성된 딥러닝 파이프라인을 사용합니다.

• 이미지 특징 추출: EfficientNet-V2 합성곱 신경망이 이미지를 읽고 시각적 특징을 추출합니다.
• SMILES 예측: transformer 모델(언어 작업에 사용되는 것과 유사)이 해당 특징으로부터 SMILES 시퀀스를 생성합니다. 이 프로젝트는 속도를 위해 Google TPUs를 사용하여 대규모 데이터 세트(100만 개 이상의 이미지)에서 학습되었습니다. 인쇄된 화학 구조와 손으로 그린 화학 구조를 모두 지원하며, 손으로 그린 구조용 모델은 필요에 따라 로드할 수 있는 별도의 구성 요소입니다.

이 소프트웨어는 pip (pip install decimer)를 통해 쉽게 설치할 수 있으며 간단한 Python 인터페이스를 제공합니다. 처음 예측을 실행할 때 모델 가중치(인쇄 구조 모델의 경우 약 300 MB)가 Zenodo에서 다운로드되어 캐시됩니다. DECIMER.load_models()를 사용하여 두 모델을 미리 로드하면 나중에 다운로드할 필요가 없으며, 로컬 모델 디렉토리를 지정하여 완전히 오프라인으로 실행할 수도 있습니다.

대상 사용자

• 이미지에서 분자 구조를 추출해야 하는 화학자 및 화학 정보학자.
• 출판물, 실험 노트 또는 손으로 그린 구조를 디지털화하는 연구자.
• 화학 이미지를 SMILES로 변환해야 하는 도구를 구축하는 개발자.

주요 특징

• 오픈 소스 (MIT)이며 PyPI에서 사용 가능.
• 고성능: TPUs를 사용하여 100만 개 이상의 이미지로 학습됨.
• 두 가지 모델: 인쇄 구조용 하나, 손으로 그린 구조용 하나.
• 간단한 Python API: predict_SMILES(image_path)가 SMILES 문자열을 반환.
• 온디맨드 모델 다운로드 및 캐싱; 사전 설치된 모델을 통한 오프라인 사용 지원.
• 예나 대학교의 Steinbeck Group에 의한 지속적인 개발.