ZhengPeng7/BiRefNet

[CAAI AIR'24] Bilateral Reference for High-Resolution Dichotomous Image Segmentation

它解决了什么问题

BiRefNet 专为高分辨率二分图像分割(DIS)设计,涉及精确地将前景物体与背景分离。它解决了在各种任务(如显著物体检测(SOD)和伪装物体检测(COD))中,特别是高分辨率图像,维持分割掩码的高精度和细节的挑战。

它的运作方式

该项目实现了双边参考机制以达成高分辨率分割。它利用多种骨干网络,如 Swin Transformer,并为不同分辨率和任务提供专门模型。系统支持 FP16 推理以提高效率,并可透过 Hugging Face 进行一行加载。它也支持 ONNX 转换以利部署。

适合谁使用

需要对高分辨率图像进行高精度背景移除或物体分割的计算机视觉研究人员和开发者,以及从事抠图和显著物体检测的人员。

亮点

  • SOTA 性能:在多个基准测试(包括 DIS、COD 和 HRSOD)上达成最先进的结果。
  • 高分辨率支持:提供针对高达 2K(2560x1440)分辨率和动态分辨率范围(256x256 至 2304x2304)训练的专门模型。
  • 高效推理:支持 FP16 推理,在 RTX 4090 上以 1024x1024 分辨率达到 17 FPS。
  • 多样化模型库:提供广泛的预训练权重,适用于一般用途、抠图和特定学术基准。
  • 易于集成:透过 Hugging Face AutoModelForImageSegmentation 进行一行加载。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目