Kohulan/DECIMER-Image_Transformer

解決する課題

化学者は、論文、データベース、または手書きのスケッチで化学構造の画像に頻繁に遭遇します。それらを手動で機械可読な形式に書き写す作業は時間がかかり、エラーが発生しやすくなります。DECIMERは光学化学構造認識 (OCSR) を自動化します。分子の画像を取り込み、ケモインフォマティクスで使用される標準的なテキスト表現である対応するSMILES文字列を出力します。

仕組み

DECIMERは、2つの主要な部分からなるディープラーニングパイプラインを使用します。

• 画像特徴抽出：EfficientNet-V2 畳み込みネットワークが画像を読み取り、視覚的特徴を抽出します。
• SMILES予測：transformerモデル（言語タスクで使用されるものと同様）が、それらの特徴からSMILESシーケンスを生成します。 このプロジェクトは、速度向上のためにGoogle TPUsを使用して大規模なデータセット（100万枚以上の画像）でトレーニングされました。印刷された化学構造と手書きの化学構造の両方をサポートしており、手書きモデルは必要に応じてロードできる個別のコンポーネントです。

このソフトウェアはpip (pip install decimer) を介して簡単にインストールでき、シンプルなPythonインターフェースを提供します。初めて予測を実行すると、モデルの重み（印刷構造モデルで約300 MB）がZenodoからダウンロードされ、キャッシュされます。DECIMER.load_models() を使用して両方のモデルを事前にロードすることで、後のダウンロードを回避でき、ローカルのモデルディレクトリを指定して完全にオフラインで実行することも可能です。

対象ユーザー

• 画像から分子構造を抽出する必要がある化学者およびケモインフォマティシャン。
• 出版物、実験ノート、または手書きの構造をデジタル化する研究者。
• 化学画像をSMILESに変換する必要があるツールを構築する開発者。

ハイライト

• オープンソース (MIT) であり、PyPIで利用可能。
• 高性能：TPUsを使用して100万枚以上の画像でトレーニング済み。
• 2つのモデル：印刷構造用と手書き構造用。
• シンプルなPython API：predict_SMILES(image_path) がSMILES文字列を返します。
• オンデマンドのモデルダウンロードとキャッシュ。プリインストールされたモデルによるオフライン使用をサポート。
• イェーナ大学のSteinbeck Groupによる継続的な開発。