BIT-DataLab/Edit-Banana

解决的问题

Edit Banana 将图表、流程图和技术示意图的静态图像转换为完全可编辑的 DrawIO (XML) 文件。它消除了从非可编辑格式手动重新创建复杂图表的需求，通过重建原始布局、逻辑关系和文本。

工作原理

该项目使用多阶段流水线来重建图表：

1. 分割：经过微调的 SAM 3（Segment Anything Model 3）识别并掩码各个图表元素。
2. 文本提取：系统使用本地 OCR（Tesseract 或 PaddleOCR）进行文本定位，使用 Pix2Text 将数学公式转换为 LaTeX。
3. VLM 引导：多模态大语言模型（VLM）通过多轮扫描引导提取过程。
4. XML 生成：将分割阶段的空间数据与 OCR 阶段的文本合并，生成兼容 DrawIO 的 XML 文件。

适用人群

专为研究人员、工程师和学生设计，他们需要编辑论文、演示文稿或旧文档中的现有图表，但没有原始源文件。

主要亮点

• 高保真重建：保留布局逻辑、颜色匹配、元素层级和箭头样式（粗细和虚线）。
• 公式支持：通过 LaTeX 转换专门处理科学公式。
• 可编辑输出：生成标准 DrawIO XML，允许用户单独拖动、样式化和修改元素。
• 性能优化：包含全局锁以实现线程安全的 GPU 访问，以及 LRU 缓存以持久化图像嵌入。