Project Swap：在物物交换经济中的AI代理
TL;DR
Anthropic的Project Swap实验发现，AI代理可以成功代表人类进行交易谈判，但市场的整体效率更多受限于代理对用户偏好的理解程度，而非谈判过程本身。更强的模型能带来更高效的市场结果，而从简短的初步对话中准确表示用户则仍是主要的技术难题。
Project Swap实验设计
Anthropic在六个全球办公室对201名员工进行了一项受控的物物交换经济实验。每位参与者提供了一本书用于交换，并与一个由Claude驱动的代理进行简短的半结构化初步对话，以描述自己的阅读偏好。这些代理随后进入一个去中心化的“交易大厅”，进行推介、讨价还价和书籍交换，直到时间限制结束。
为了衡量成功，研究人员使用了多个基准：
- 真实情况（Ground Truth）： 参与者对其本地书池中的10本书进行排名，以提供其实际偏好的基线。
- Claude的排名： 代理根据初步对话构建了书池中所有书籍的排名。
- 功利最优（Utilitarian Optimum）： 基于真实情况排名的理论最佳分配方案。
- 最优交易循环（Top Trading Cycles）： 一种用于匹配市场的标准经济规则，用作集中式结果的基准。
偏好表示：主要瓶颈
代理代表用户行动的能力完全取决于其对用户需求的理解。Project Swap揭示，实际结果与理论最优之间的差距主要由表示误差驱动。
偏好获取的准确性
Claude的排名（基于平均216字的初步对话）与参与者自身排名在61%的书对上一致。这优于简单的流行度排名（53%）和协同过滤（55%）。研究发现，初步调查中投入的努力越多，一致性越高；撰写300字而非150字可预测一致性提升4个百分点。
市场差距的分解
在分析市场为何未能达到功利最优（0.89分）时，研究人员发现差距的构成如下：
- 表示差距： Claude的不精确排名导致了85%的差距（将分数降至0.60）。
- 谈判差距： 去中心化的“自由竞争”谈判过程导致了剩余的15%（最终平均分数降至0.55）。
这表明，一旦代理对偏好的表示存在噪声，具体的市场设计（集中式 vs. 去中心式）对最终结果的影响相对较小。
模型能力与指令的影响
Anthropic多次重跑市场，以隔离模型和给代理的指令的影响。
模型表现
更强的模型始终产生更高效的成果。根据Claude自身排名评估，效率得分为：
- Haiku： 0.75
- Sonnet： 0.80
- Opus： 0.88
- Fable： 0.86
在混合模型环境中，更强的模型通常为其用户带来比弱模型为其用户更好的结果。
冷酷 vs. 亲社会指令
代理被分为“冷酷”（仅关注用户目标）和“亲社会”（关注用户目标和整体市场的成功）两类。
- 结果： 冷酷代理的得分略高（在Claude排名上约高0.02）。
- 行为： 亲社会代理偶尔会做出重大牺牲，例如接受排名较低的书，以确保其他代理不会一无所获。
代理谈判策略
对交易大厅消息的分析揭示了16种常见策略，分为三类：
- 施压： 借助时间限制或责任感进行劝说。
- 推介： 将书籍与竞争对手对比或引用奖项。
- 安排： 创建等待名单或作为其他代理的第三方中介。
从策略角度看，大多数代理（78%至96%）向交易大厅透露了其排名第一的书，但很少透露完整排名，因为这会给予对手战略优势。
用户信任与受托责任的含义
实验结束后，参与者报告的平均满意度为7.2/10。当被问及愿意将多少年度购书预算交由AI代理自主管理时，平均回答为30%——约为他们愿意交给一位博学朋友的40%的四分之三。
受托责任与可观察性
该研究认为，为了使代理在高风险市场中履行受托责任，需要两种类型的验证：
- 通用认证： 测试代理在某一领域的一般能力。
- 个性化验证： 一种“样本测试”，代理在采取行动前需展示其对特定用户偏好的理解。
此外，研究人员指出，可观察性（即能够审查代理行为日志）对于用户追索权和信任至关重要，因为它使用户能够理解为何某些交易被做出或错过。