ChocoWu/Awesome-Scene-Graph-Generation

This is a repository for listing papers on scene graph generation and application.

这个项目是什么?

一个精选的**“awesome列表”——一个单一、组织良好的仓库,作者在其中收集关于场景图生成**(SGG)的关键资源。它是一个参考索引,本身不是软件包,但链接到许多工具、论文和数据集。

什么是场景图?(来自README的介绍)

一种将场景(来自文本、图像或视频)描述为图的方式:

  • 节点 = 对象,带有类别标签、属性和边界框(对象所在位置)
  • 边 = 对象之间的成对关系

可以把它想象成将一张图片转换为结构化描述,如“人——坐在——椅子上”。

里面有什么

  • 🏷️ 数据集:一个包含约30多个数据集的大型表格,涵盖多种模态——图像、视频、3D、4D、文本、卫星图像、交通场景、第一人称视频等。每行列出对象类别、关系类别和实例数量等统计信息。
  • 🧩 场景表示:按8种表示场景的方式组织的论文——补丁/令牌、对象中心槽、神经隐式场(如NeRF)、显式3D、动态/4D/视频、世界模型潜在、语言基础和符号/基于程序。
  • 🍕 场景图生成:按任务类型划分的论文——2D图像SGG、全景SGG、时空视频SGG、音频SGG、3D/4D SGG、文本SGG、地图空间SGG、通用SGG和世界SGG。
  • 🥝 应用:场景图如何被使用——图像/视频检索、字幕生成、生成、视觉推理、3D场景生成、减少视觉语言模型中的幻觉等。
  • 🤶 额外内容:评估指标、工具包、研讨会、综述和重要工作。

工具包亮点(在README中链接)

列出了几个工具:

  • Stanford Scene Graph Parser、SceneGraphParser、FactualSceneGraph——文本到场景图的解析器
  • Scene-Graph-Benchmark.pytorch、SGG-Benchmark——基准代码库(SGG-Benchmark被描述为常见方法的“最新且易于运行”实现)
  • SGG-Annotate——一个用于COCO格式视觉关系的现代标注工具
  • RelateAnything——从任何输入进行实时、开放词汇的关系预测

维护者的新闻和近期新增

  • OmniSG——一个用于文本、图像、视频和3D场景图解析的统一工具包,带有Web UI演示和评估脚本
  • VSG-Annotator——一个用于标注视频场景图的工具
  • Scene Graph Series——一个收集他们所有场景图相关工作的项目网站
  • WACV26研讨会关于“场景图用于结构化智能”(一个计算机视觉会议研讨会)

社区与讨论

该仓库在Issues标签中运行一个**“热门话题”**板块——开放线程如:

  • “场景图仍然是表示和理解场景的好方法吗?”
  • “世界模型需要对象吗?”

维护者明确邀请贡献、合作和关于该领域未来的讨论。

相关

  • 项目
  • 项目
  • 项目
  • 项目