Anthropic 研究所研究议程:研究 AI 社会影响的四个重点领域
Anthropic 研究所(TAI)发布了其将在前沿 AI 实验室内部开展的研究议程,围绕四个重点领域组织:经济扩散、威胁与韧性、现实世界中的 AI 系统,以及 AI 驱动的研发。该议程之所以重要,是因为它承诺 Anthropic 将发布劳动力市场信号、韧性研究以及关于 AI 如何加速自身研发的内部证据——该公司表示,这些数据将越来越多地为其自身决策和长期利益信托提供信息。
Anthropic 研究所是什么以及它为何存在
Anthropic 研究所是 Anthropic 内部的一个组织,利用前沿实验室内部可获得的信息研究 AI 的现实世界影响,然后将其研究结果发布给外部组织、政府和公众。其公开的理由是方法论上的:Anthropic 在《AI 安全核心观点》中主张,有效的安全研究需要与前沿 AI 系统密切接触,而 TAI 将同样的逻辑应用于研究 AI 对安全、经济和社会的影响。
Anthropic 表示,它已经观察到一些它想要研究的早期信号:软件工程等工作正在发生根本性变化,Anthropic 的内部经济开始转变,公司构建的系统正在产生新的威胁,并且有早期迹象表明 AI 正在加速 AI 自身的研发。TAI 的目的是研究这些动态可能如何塑造外部世界,以及公众如何帮助引导这些变化。
四大研究支柱概览
TAI 的议程分为四个领域:
- 经济扩散:AI 部署如何改变经济、劳动力市场和工作的未来。
- 威胁与韧性:AI 如何改变威胁格局,包括双重用途能力,以及社会如何做好准备。
- 现实世界中的 AI 系统:当人们和机构与 AI 系统互动时,他们如何变化。
- AI 驱动的研发:AI 如何加速科学研究和 AI 自身的发展。
该文件指出,该议程是一个动态议程,是与 Anthropic 的长期利益信托和公司各部门员工共同制定的,并将随着证据的积累而修订。该页面带有 2026 年 5 月 7 日的最后更新标记。
经济扩散:衡量 AI 如何改变工作
这一支柱探讨日益强大的 AI 系统如何改变经济,以及如何构建所需的经济数据和预测能力,以便以有益于公众的方式部署 AI。TAI 表示将进一步发展《Anthropic 经济指数》中的数据,并探索其他方法来模拟诸如失业或前所未有的经济增长等影响。
该支柱分为四个问题群组:
AI 采用与扩散
问题包括谁在采用 AI,以及什么因素决定一个国家、地区或城市能否获得 AI 并从中获取经济价值;免费或开放权重模型如何改变这种动态;什么导致企业层面的采用,以及 AI 使用在企业间的集中程度如何;一个三人团队或公司完成以前需要 300 人完成的工作是否会改变产业组织;以及知识的大规模集中是否会给企业更强的动力来系统性地监视员工。TAI 还询问 AI 是否遵循以往通用技术的模式,即在高利润商业应用中采用最快,而在社会回报超过私人回报的地方采用最慢。
生产力与经济增长
TAI 询问 AI 将对整个经济的创新率和生产力增长产生什么影响,哪些预先或再分配机制可以更广泛地传播 AI 的收益,以及 AI 如何改变市场中的交易成本和交换系统——包括代表个人进行谈判的代理何时能提高市场效率和公平结果,何时不能。
广泛的劳动力市场影响
TAI 询问 AI 将如何改变经济不同部门的工作和就业,可能出现哪些新任务和新工作,以及这些变化在不同地区和国家的差异。《Anthropic 经济指数调查》被描述为一种月度信号,反映人们如何看待 AI 对其工作的影响以及他们对未来的期望,TAI 表示正在更新经济指数,以分享更多高频、细粒度的数据。另一个问题询问 AI 的扩散是否可以像中央银行通过政策利率和前瞻性指引等调节手段来缓和通胀那样进行调节——也就是说,AI 公司是否可以在行业层面并与政府合作,转动类似的调节手段来控制各行业的扩散速度。
工作与工作场所的未来
这一群组涵盖工人如何体验其职业的变化,以及工人权力能否得到保留或转变;依赖初级岗位(如律师助理、初级分析师和助理开发人员)的职业,如果 AI 吸收了历史上培养专业知识的任务,将如何培养未来的高级从业者;人们应该学习什么才能为未来做好准备;以及如果 AI 大幅降低有偿工作的中心地位,什么条件能让人们将时间重新分配到其他意义来源上。
威胁与韧性:双重用途能力与防御差距
这一支柱始于一个观察:AI 系统同时推进许多能力,包括双重用途能力:一个在生物学上有所改进的系统也在制造生物武器方面有所改进,而一个擅长编程的系统也更擅长黑客攻击计算机。TAI 的目标是建立伙伴关系,提高社会对变革性 AI 的韧性,并开发新威胁的早期预警系统。这些问题中的许多将推动 Anthropic 前沿红队的研究议程。
评估风险与双重用途能力
问题包括可观测性工具能否显示双重用途工具是否以及如何促成监视和压制;市场驱动的方法(如新的风险定价方式)能否在可预测的威胁(如改进的 AI 网络攻击能力)之前提高韧性;以及 AI 赋能的能力是否在网络和生物等领域结构性偏向攻击者,包括当 AI 被集成到指挥控制系统中时。
建立风险缓解措施
TAI 询问在 AI 危机中需要什么样的地缘政治基础设施,类比冷战时期美国总统与克里姆林宫之间的热线,并指出这种基础设施可能是公司对政府或公司对公司,而不是政府对政府。第二个问题涉及节奏:AI 能力可以在几个月内取得进展,而监管、保险和基础设施响应则按年的时间尺度运作。TAI 询问如何弥合这一差距,自动修补、AI 驱动的威胁检测或预先部署的响应能力等防御机制能否匹配 AI 驱动的进攻的节奏和规模,或者这种不对称是否是结构性的。
用于监视的情报能力
一个较小的群组询问 AI 如何改变监视的工作方式——它是否使监视更便宜、更有效,或两者兼有。
现实世界中的 AI 系统:人们和机构如何变化
这一支柱被描述为 Anthropic 社会影响团队的核心重点领域,研究人们和组织与 AI 系统之间的互动。TAI 表示正在推进现有工具并构建新工具用于这项工作,从用于更好观测 Anthropic 平台的软件到用于进行大规模定性调查的工具。
对个人和社会的影响
TAI 询问当很大一部分人口咨询相同的少数几个模型时,认识论会发生什么变化,以及是否可以衡量可归因于共享 AI 使用的信念、写作风格和解决问题方法的大规模变化。它询问如何检测和避免人类批判性思维的退化,因为人们更多地依赖 AI 判断。它询问可以构建什么样的界面,使 AI 系统促进而不是削弱人类能动性,使用被动看电视和生成式计算机使用之间的对比。它还询问人类如何管理混合人类和 AI 系统的团队,以及这种关系如何可能被颠倒。
识别重大影响
问题包括什么监测或测量可以告知研究人员 AI 塑造人类行为的情况,类似于归因于社交媒体的行为变化,以及透明制度和工具能否让前沿 AI 公司之外的人研究现实世界中的 AI 使用。
理解和治理 AI 模型
TAI 询问 AI 系统表达的价值观是什么,它们与系统训练方式的关系如何,以及如何衡量 AI 宪法对部署行为的影响——扩展了先前关于现实世界中价值观的工作。在治理方面,它询问现有法律、治理体系和问责机制的哪些方面可以适用于自主代理,引用海军法对废弃船只的处理与在没有人类监督的情况下运行的代理相关的例子,以及反过来,哪些现有法律已经适用且不应改变。在可靠性方面,它询问能否赋予 AI 代理一个独特的身份,即使没有直接的人类控制,它们也能可靠地输出。它还询问如何有效地使用 AI 来治理 AI 系统,以及人类在哪些方面具有比较优势或法律或规范要求保持参与,以及当 AI 代理相互互动时会出现什么规范。
AI 驱动的研发:衡量自我改进的速度
这一支柱涉及由 AI 系统在较少主动人类监督下自主或半自主进行的研究——包括 AI 研究,其中日益强大的系统帮助开发其继任版本,Anthropic 称之为 AI 驱动的 AI 研发。Anthropic 将其描述为制造更强大系统的潜在自然红利,类似于编程进步产生双重用途的网络能力,科学进步可能产生双重用途的生物能力,同时也指出 AI 驱动的 AI 研发本身具有重大危险的潜力。
AI 用于 AI 研发
TAI 询问人类如何对自主开发和改进自身的系统行使有意义的可见性和控制,以及最终将治理这些系统的因素。它询问智能爆炸的消防演习作为桌面推演会是什么样子,测试实验室领导层、董事会和政府的决策。它询问如何衡量 AI 研发的总体速度,需要什么遥测和技术能力,以及 AI 研发的指标能否作为递归自我改进的早期预警信号。它还询问什么干预点可以减缓或改变智能爆炸的速度,以及哪些实体——政府或公司——应该拥有这种能力。
AI 用于一般研发
关于其他领域的 AI 驱动研究,TAI 询问科学加速的不均匀程度,指出这取决于数据可用性、评估信号以及知识有多少是隐性或机构门槛的,以及科学进步构成的变化意味着哪些人类问题会首先得到解决。它还询问模型能否改进以解决社会外部性,指出具有大量正外部性的领域(如药物发现和材料科学)获得的投资少于其价值所保证的,因为市场根据私人回报引导模型改进。
TAI 承诺发布的内容
除了提出问题外,议程还列出了 TAI 打算分享的三类具体产出:
- 来自《Anthropic 经济指数》的更细粒度信息,以更高频率发布,涉及劳动力影响和 AI 使用,旨在作为重大变化和破坏的早期预警信号。
- 关于面对新的 AI 赋能安全风险最需要韧性投资的社会领域的研究。
- 关于新 AI 工具如何加速 Anthropic 工作的更详细信息,以及关于 AI 系统潜在递归自我改进影响的思考。
TAI 如何与 Anthropic 的治理相关联
议程指出,TAI 将影响 Anthropic 做出的决策。给出的例子包括公司分享原本不会分享的数据(如经济指数),以及以不同方式处理技术发布,例如为 Project Glasswing 等举措提供信息的网络威胁分析。文件还指出,TAI 开发的工作预计将越来越多地成为 Anthropic 长期利益信托的重要输入,该信托的使命是确保 Anthropic 不断优化其行动以造福人类的长期利益。该议程是与 LTBT 和 Anthropic 各部门员工共同制定的。
动态议程与 Anthropic 奖学金
Anthropic 将此描述为一个动态议程而非固定议程,写道:“我们将随着证据的积累继续微调这些问题,并预计今天未涵盖的新问题会出现。”公司欢迎反馈,并表示将根据所学修订议程。
对于希望直接研究这些问题的外部研究人员,Anthropic 指向其 Anthropic 研究员计划:一个为期四个月的有资助机会,在 TAI 团队成员的指导下解决议程中的一个或多个问题,申请通过 Anthropic 的招聘板处理。
文件未包含的内容
已发布的议程是一组研究问题和发布承诺。它不包含任何报告的结果、基准、时间表或四个支柱中任何一个的定量目标,也没有指定哪些问题将首先得到回答。帖子中提到的具体成果包括 Anthropic 经济指数、Anthropic 经济指数调查、前沿红队、社会影响团队、Project Glasswing 和 Anthropic 奖学金。