ZhengPeng7/BiRefNet

[CAAI AIR'24] Bilateral Reference for High-Resolution Dichotomous Image Segmentation

它解決的問題

BiRefNet 是為高解析度二值影像分割(DIS)而設計的,這涉及精確地將前景物件與背景分離。它解決了在高解析度影像中維持高精度和細節的挑戰,特別是在傳統方法可能在邊界準確性上遇到困難的情況下。

如何運作

該專案實作了一種雙向參考機制以提升分割效能。它提供多種預訓練權重,針對不同任務進行調整,包括通用分割、去背(matting)以及特定基準測試,如 DIS、隱蔽物體檢測(COD)和高解析度顯著物體檢測(HRSOD)。模型可透過 Hugging Face 加載,並支援各種輸入解析度,包括動態解析度範圍以及針對 2K 和 2048x2048 影像的專用版本。

適用對象

此工具適用於電腦視覺領域的研究人員與開發者,特別是那些需要從高解析度影像中進行高品質背景移除或物件分割的人。

主要特色

  • SOTA 性能:在多個基準測試(包括 DIS、COD 和 HRSOD)上達成最尖端的成果。
  • 多功能模型庫:提供適用於一般用途、無 trimap 去背以及高解析度(HR)任務的專用模型。
  • 彈性解析度支援:包含 BiRefNet_dynamic 版本,可在 256x256 至 2304x2304 的解析度範圍內穩定運作。
  • 高效推論:支援 FP16 推論以提升效率,在 RTX 4090 上於 1024x1024 解析度下可達最高 17 FPS。
  • 易於整合:可透過 transformers 套件以單行程式碼快速載入。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案