ChocoWu/Awesome-Scene-Graph-Generation
This is a repository for listing papers on scene graph generation and application.
这个项目是什么?
一个精选的**“awesome列表”——一个单一、组织良好的仓库,作者在其中收集关于场景图生成**(SGG)的关键资源。它是一个参考索引,本身不是软件包,但链接到许多工具、论文和数据集。
什么是场景图?(来自README的介绍)
一种将场景(来自文本、图像或视频)描述为图的方式:
- 节点 = 对象,带有类别标签、属性和边界框(对象所在位置)
- 边 = 对象之间的成对关系
可以把它想象成将一张图片转换为结构化描述,如“人——坐在——椅子上”。
里面有什么
- 🏷️ 数据集:一个包含约30多个数据集的大型表格,涵盖多种模态——图像、视频、3D、4D、文本、卫星图像、交通场景、第一人称视频等。每行列出对象类别、关系类别和实例数量等统计信息。
- 🧩 场景表示:按8种表示场景的方式组织的论文——补丁/令牌、对象中心槽、神经隐式场(如NeRF)、显式3D、动态/4D/视频、世界模型潜在、语言基础和符号/基于程序。
- 🍕 场景图生成:按任务类型划分的论文——2D图像SGG、全景SGG、时空视频SGG、音频SGG、3D/4D SGG、文本SGG、地图空间SGG、通用SGG和世界SGG。
- 🥝 应用:场景图如何被使用——图像/视频检索、字幕生成、生成、视觉推理、3D场景生成、减少视觉语言模型中的幻觉等。
- 🤶 额外内容:评估指标、工具包、研讨会、综述和重要工作。
工具包亮点(在README中链接)
列出了几个工具:
- Stanford Scene Graph Parser、SceneGraphParser、FactualSceneGraph——文本到场景图的解析器
- Scene-Graph-Benchmark.pytorch、SGG-Benchmark——基准代码库(SGG-Benchmark被描述为常见方法的“最新且易于运行”实现)
- SGG-Annotate——一个用于COCO格式视觉关系的现代标注工具
- RelateAnything——从任何输入进行实时、开放词汇的关系预测
维护者的新闻和近期新增
- OmniSG——一个用于文本、图像、视频和3D场景图解析的统一工具包,带有Web UI演示和评估脚本
- VSG-Annotator——一个用于标注视频场景图的工具
- Scene Graph Series——一个收集他们所有场景图相关工作的项目网站
- WACV26研讨会关于“场景图用于结构化智能”(一个计算机视觉会议研讨会)
社区与讨论
该仓库在Issues标签中运行一个**“热门话题”**板块——开放线程如:
- “场景图仍然是表示和理解场景的好方法吗?”
- “世界模型需要对象吗?”
维护者明确邀请贡献、合作和关于该领域未来的讨论。
相关
- 项目
- 项目
- 项目
- 项目