zeroQiaoba/AffectGPT

解決する課題

このプロジェクトは、従来の感情認識システムの限界に対処します。従来のシステムは通常、固定された事前定義の感情ラベルに制限されています。オープンボキャブラリ多モーダル感情認識（OV-MER）へ移行することで、生成AIを使用して、より広範でニュアンスのある人間の感情スペクトラムをモデルが理解し予測できるようにします。

仕組み

このプロジェクトは、感情認識を単純な分類から生成的理解へと移行させる一連のフレームワークとデータセットを提供します。多モーダル大規模言語モデル（MLLM）を使用して感情コンテンツを解釈します。標準的なトークンレベルのトレーニングと人間中心の感情メトリクスとの間のミスアライメントを克服するために、強化学習（AffectGPT-RL）を導入します。これにより、モデルは標準的な勾配ベースのトレーニングでは扱えない非微分可能な感情固有の評価メトリクス（感情ホイールなど）に対して直接最適化できます。

対象者

このプロジェクトは、基本的なカテゴリ分類ではなく、きめ細かいオープンエンドな感情認識が可能なシステムを構築したい、感情コンピューティングと多モーダルAIの研究者や開発者向けに設計されています。

ハイライト

• OV-MER: ラベル空間の制限を排除し、より柔軟な感情予測を可能にするフレームワーク。
• EmoPrefer: LLMが人間の感情の好みをどの程度理解しているかを評価するためのデータセットとベンチマーク。
• AffectGPT-RL: モデルのトレーニングを人間中心の感情評価メトリクスと整合させる強化学習アプローチ。
• 包括的なデータセット: トレーニングとベンチマークのための複数の研究グレードのデータセット（MER-Caption、EmoPrefer-Data）を含みます。