前沿模型论坛更新

OpenAI、Anthropic、Google和微软任命Chris Meserole为前沿模型论坛首席执行董事,并启动了1000万美元AI安全基金。这些举措旨在通过领导力、独立研究资金以及建立行业范围的技术标准,确保前沿AI模型的安全和负责任的发展。

执行董事任命

Chris Meserole曾是布鲁金斯学会人工智能与新兴技术倡议的主任,现被任命为前沿模型论坛首席执行董事。在此职位上,Meserole负责领导论坛的使命:

  • 推进AI安全研究,以最小化潜在风险并促进负责任的发展。
  • 识别并建立前沿模型的安全最佳实践。
  • 促进与学术界、政策制定者和民间社会的知识共享。
  • 支持利用AI应对重大社会挑战。

AI安全基金

为了应对AI能力加速带来的学术研究差距,前沿模型论坛及几家慈善合作伙伴已承诺为新设的AI安全基金提供超过1000万美元的初始资金。

资金来源与管理

该基金得到Anthropic、Google、微软、OpenAI以及包括Patrick J. McGovern基金会、David和Lucile Packard基金会、Eric Schmidt和Jaan Tallinn在内的慈善合作伙伴的支持。该基金将由Meridian研究所管理,并由独立外部专家、AI公司代表和资助专家组成的咨询委员会监督。

目标与范围

AI安全基金的主要重点是支持来自学术机构、研究中心和初创公司的独立研究人员。该基金特别针对开发新的模型评估和红队技术,以测试前沿系统中潜在的危险能力。此举旨在落实2023年初在白宫签署的自愿AI承诺的一部分,以促进第三方发现和报告漏洞。

技术标准与红队

前沿模型论坛正在努力建立一套共同的定义和流程基线,以同步研究人员、政府和行业同行之间的讨论。

标准化红队

论坛发布了其首个技术工作组更新,为AI提供了“红队”的通用定义。论坛将红队定义为“一种结构化的过程,用于探测AI系统和产品,以识别有害能力、输出或基础设施威胁。”

负责任披露流程

论坛正在制定负责任的披露流程,以便前沿AI实验室分享有关已发现漏洞、危险能力及相关缓解措施的信息。该流程参考了论坛成员在国家安全领域进行的关于AI能力及缓解措施的现有研究。

未来路线图

前沿模型论坛将设立咨询委员会以指导其战略和优先事项。即将到来的里程碑包括发布AI安全基金的首轮提案征集以及随着进展发布进一步的技术发现。

Sources