OpenAI LifeVal 评估框架

LifeVal 概述

OpenAI 推出了 LifeVal，这是一个旨在衡量 AI 模型在实际日常任务中表现的评估框架。通过将重点从学术知识基准转向现实世界的实用性，该框架旨在跟踪并推动模型能力的提升，特别针对 ChatGPT 从对话工具向能够执行复杂工作流的代理式个人助理的转型。

方法论与任务选择

为了确保评估反映用户的实际需求，OpenAI 从既有研究中提取了 LifeVal 任务目录，包括《美国时间利用调查》(American Time Use Survey) 和《跨国时间利用研究》(Multinational Time Use Study)。这些数据集辅以一项包含 3,995 名受访者的人口统计学代表性调查，以确定个人最希望获得 AI 协助的领域。由此产生的评估涵盖了护理、健康、教育、家庭管理、个人理财、购物以及获取政府服务等关键领域。

实际工作流的表现

LifeVal 评估模型在需要多步骤、面向行动的任务中的表现，这些任务不仅仅是简单的文本生成。目前的模型在多个实际场景中表现出了极高的熟练度，包括：

• 幼儿园入学： 在比较和筛选当地学校方面成功率为 93.1%。
• 应急协调： 在组织社区志愿者进行防洪准备方面成功率为 98.0%。
• 房地产物流： 在识别符合特定预算和通勤要求的房产（包括计算税费和管理文档记录）方面成功率为 100%。
• 远程社交连接： 在配置共享活动的远程设置方面成功率为 96.3%。
• 健康管理： 在为特定医疗诊断制定个性化护理和膳食计划方面成功率为 90.4%。

对代理式 AI 的意义

LifeVal 是推动浏览器使用、计算机使用和连接器集成发展的机制。通过衡量在这些日常职责上的成功率，OpenAI 旨在提高模型在 AI 必须采取自主行动以实现用户目标的环境中的对齐和性能。该框架旨在确保随着 AI 模型的演进，它们始终专注于为人类用户的日常生活提供切实的好处。