zeroQiaoba/AffectGPT

解决的问题

本项目解决了传统情感识别系统的局限性，这些系统通常局限于固定的、预定义的情感标签集。通过转向开放词汇多模态情感识别（OV-MER），它使模型能够使用生成式AI理解和预测更广泛、更细致的人类情感谱系。

工作原理

该项目提供了一套框架和数据集，将情感识别从简单的分类转变为生成式理解。它使用多模态大语言模型（MLLMs）来解释情感内容。为了克服标准token级训练与以人为中心的情感指标之间的错位，它引入了强化学习（AffectGPT-RL）。这使得模型能够直接针对非可微的、情感特定的评估指标（如情感轮）进行优化，而标准的基于梯度的训练无法处理这些指标。

适用对象

本项目面向情感计算和多模态AI领域的研究人员和开发者，他们希望构建能够进行细粒度、开放式情感识别而非基本类别分类的系统。

亮点

• OV-MER：一个消除标签空间限制以实现更灵活情感预测的框架。
• EmoPrefer：一个用于评估LLMs理解人类情感偏好能力的数据集和基准。
• AffectGPT-RL：一种将模型训练与以人为中心的情感评估指标对齐的强化学习方法。
• 综合数据集：包含多个研究级数据集（MER-Caption、EmoPrefer-Data），用于训练和基准测试。