datalab-to/chandra

解決する課題

従来の OCR は、ページのレイアウトを失うことが多く、手書き文字、数式、表、非ラテン文字の処理に苦労します。Chandra OCR 2 は、画像や PDF を元のレイアウトを保持した構造化 HTML、Markdown、または JSON に変換し、ドキュメントを編集可能、検索可能、機械可読にします。

仕組み

Chandra OCR 2 は、画像または PDF の各ページを処理し、コンテンツを構造化形式で出力する深層学習モデルです。表、フォーム、数式、画像などのレイアウト要素を検出し、キャプションや構造化データを追加します。コマンドラインインターフェース（CLI）を使用して実行でき、ドキュメントごとに Markdown、HTML、メタデータファイルを生成します。また、単一ページ処理用のインタラクティブな Web アプリも提供します。モデルは HuggingFace transformers を使用してローカルで実行するか、vLLM サーバー上で実行してバッチ処理を高速化できます。

対象ユーザー

複雑なレイアウト、多言語、または手書き文字を含む大量のドキュメントをデジタル化する必要がある開発者、研究者、企業向けです。研究、個人使用、および資金調達額または収益が 200 万ドル未満のスタートアップには無料です。商用のセルフホスティングにはライセンスが必要であり、マネージド Datalab プラットフォームは、より高い精度と追加機能を備えた API を提供します。

ハイライト

• 外部の olmocr ベンチマークでトップとなり、内部の多言語ベンチマークで大幅な改善を示しました。
• 90 以上の言語をサポートし、手書き文字と数式の処理に優れています。
• チェックボックスを含むフォームを正確に再構築します。
• 詳細なレイアウト情報を含む Markdown、HTML、JSON を出力します。
• 画像や図を抽出し、キャプションと構造化データを追加します。
• ローカル（HuggingFace）とリモート（vLLM サーバー）の 2 つの推論モードを提供し、デプロイの柔軟性を実現します。
• CLI とインタラクティブな Streamlit Web アプリが含まれています。
• Apache 2.0 コードライセンス。モデルウェイトは OpenRAIL-M（研究および小規模スタートアップ向けに無料）です。