BIT-DataLab/Edit-Banana

解決的問題

Edit Banana 將圖表、流程圖與技術示意图的靜態影像轉換為完全可編輯的 DrawIO (XML) 檔案。它消除了從非可編輯格式手動重新建立複雜圖表的需求，透過重建原始佈局、邏輯關係與文字。

工作原理

本專案使用多階段流程來重建圖表：

1. 分割：經過微調的 SAM 3（Segment Anything Model 3）識別並遮罩各個圖表元素。
2. 文字提取：系統使用本地 OCR（Tesseract 或 PaddleOCR）進行文字定位，並使用 Pix2Text 將數學公式轉換為 LaTeX。
3. VLM 引導：多模態大型語言模型（VLM）透過多輪掃描引導提取過程。
4. XML 產生：將分割階段的空間資料與 OCR 階段的文字合併，產生相容 DrawIO 的 XML 檔案。

適用對象

專為研究人員、工程師與學生設計，他們需要編輯論文、簡報或舊文件中的現有圖表，但沒有原始來源檔案。

主要亮點

• 高保真重建：保留佈局邏輯、色彩匹配、元素層級與箭頭樣式（粗細與虛線）。
• 公式支援：透過 LaTeX 轉換專門處理科學公式。
• 可編輯輸出：產生標準 DrawIO XML，允許使用者個別拖曳、樣式化與修改元素。
• 效能優化：包含全域鎖以實現執行緒安全的 GPU 存取，以及 LRU 快取以持久化影像嵌入。