zeroQiaoba/AffectGPT

해결하는 문제

이 프로젝트는 일반적으로 고정된 사전 정의된 감정 레이블로 제한되는 기존 감정 인식 시스템의 한계를 해결합니다. 오픈 어휘 다중 모달 감정 인식(OV-MER)으로 전환함으로써 생성형 AI를 사용하여 모델이 더 넓고 미묘한 인간 감정 스펙트럼을 이해하고 예측할 수 있게 합니다.

작동 방식

이 프로젝트는 감정 인식을 단순한 분류에서 생성적 이해로 전환하는 일련의 프레임워크와 데이터 세트를 제공합니다. 다중 모달 대규모 언어 모델(MLLM)을 사용하여 감정 콘텐츠를 해석합니다. 표준 토큰 수준 훈련과 인간 중심 감정 지표 간의 불일치를 극복하기 위해 강화 학습(AffectGPT-RL)을 도입합니다. 이를 통해 모델은 표준 경사 기반 훈련으로 처리할 수 없는 비미분 가능한 감정 특정 평가 지표(예: 감정 휠)에 대해 직접 최적화할 수 있습니다.

대상 사용자

이 프로젝트는 기본적인 범주 분류가 아닌 세분화되고 개방형 감정 인식이 가능한 시스템을 구축하려는 감정 컴퓨팅 및 다중 모달 AI 분야의 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• OV-MER: 더 유연한 감정 예측을 위해 레이블 공간 제한을 제거하는 프레임워크입니다.
• EmoPrefer: LLM이 인간 감정 선호도를 얼마나 잘 이해하는지 평가하기 위한 데이터 세트 및 벤치마크입니다.
• AffectGPT-RL: 모델 훈련을 인간 중심 감정 평가 지표와 정렬하는 강화 학습 접근 방식입니다.
• 포괄적인 데이터 세트: 훈련 및 벤치마킹을 위한 여러 연구급 데이터 세트(MER-Caption, EmoPrefer-Data)를 포함합니다.