BIT-DataLab/Edit-Banana

何を解決するか

Edit Bananaは、図やフローチャート、技術的な回路図の静的画像を完全に編集可能な DrawIO (XML) ファイルに変換します。非編集可能な形式から複雑な図を手動で再作成する必要を排除し、元のレイアウト、論理的関係、テキストを再構築します。

動作方法

このプロジェクトは、図の再構築にマルチステージパイプラインを使用しています：

1. セグメンテーション：最適化された SAM 3（Segment Anything Model 3）が個々の図要素を識別し、マスクします。
2. テキスト抽出：ローカル OCR（Tesseract または PaddleOCR）でテキストの位置特定を行い、Pix2Text で数式を LaTeX に変換します。
3. VLMのガイド：マルチモーダル大規模言語モデル（VLM）が、複数ラウンドのスキャンを通じて抽出プロセスをガイドします。
4. XML生成：セグメンテーション段階の空間データと OCR 段階のテキストを統合し、DrawIO互換の XML ファイルを生成します。

対象ユーザー

論文、プレゼンテーション、レガシードキュメントに含まれる既存の図を編集したい研究者、エンジニア、学生向けに設計されています。元のソースファイルが手元にない場合でも問題ありません。

特徴

• 高忠実度の再構築：レイアウトの論理、色の一致、要素の階層、矢印のスタイル（太さや破線）を保持します。
• 数式対応：LaTeX 変換により、科学的な数式を特別に処理します。
• 編集可能な出力：標準的な DrawIO XML を出力し、ユーザーが要素を個別にドラッグ、スタイル変更、編集できます。
• パフォーマンス最適化：GPUへのスレッドセーフなアクセスを実現するグローバルロックと、画像埋め込みの永続化を実現する LRU キャッシュを含みます。