✷ 归档 · 11 个实验室 · 450 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
Anthropic 推出基于特征的分类器，采用字典学习技术
Anthropic 的可解释性团队宣布了使用字典学习特征作为分类器的初步实验，为微调后的语言模型提供了一种快速且可解释的替代方案。
Anthropic 负责任缩放政策更新
Anthropic 更新了其负责任缩放政策 (RSP)，引入了一个更灵活的风险治理框架，并设定了特定的性能阈值和按比例的 AI 安全等级 (ASL) 标准。
Anthropic 美国大选准备工作
Anthropic 已实施了一套多层级的安全框架，包括使用政策更新、红队测试以及重定向至权威投票来源，以减轻 2024 年美国大选期间 AI 被滥用的风险。
Anthropic Circuits 2024 年 9 月更新
Anthropic 2024 年 9 月的 Circuits 更新提供了关于多智能体系统失败、工人再培训项目证据以及 Claude 研究版本在黎曼ζ函数方面进展的初步研究。
Anthropic 上下文检索技术提升 RAG 准确性
Anthropic 宣布推出上下文检索技术，这是一种预处理方法，通过在嵌入和 BM25 索引中添加与块相关的上下文信息，将前 20 个块的检索失败率降低高达 67%，并实现更低成本、更可靠的检索增强生成。
Anthropic 上下文检索
Anthropic 推出上下文检索，通过在嵌入前为数据块添加特定上下文，将 RAG 检索失败率最高降低 67%。
Anthropic Circuits Updates August 2024
Anthropic 2024 年 8 月的 Circuits 更新提供了关于多智能体系统故障、工人再培训计划以及 Claude 研究版本在黎曼猜想上的进展的初步研究见解。
Salesforce 集成 Anthropic Claude AI
Salesforce 已通过 Amazon Bedrock 将 Anthropic 的 Claude 3.5 Sonnet、Claude 3 Opus 和 Claude 3 Haiku 模型集成到其平台中，使企业能够定制 AI 驱动的 CRM 应用程序。
Anthropic 扩大模型安全漏洞赏金计划
Anthropic 宣布了一项扩大的、仅限受邀参加的漏洞赏金计划，旨在奖励发现其下一代 AI 安全缓解措施中通用越狱攻击的行为，奖励金额最高可达 15,000 美元，目标是保护 CBRN 和网络安全等高风险领域。
Claude AI 在巴西的可用性
Anthropic 已通过 Web、移动应用和 API 将其 AI 助手 Claude 的可用性扩展到了巴西的消费者和企业。
Anthropic Circuits Updates July 2024
Anthropic 在 2024 年 7 月发布了一系列初步研究更新，重点关注可解释性、多智能体系统故障以及在尚未发布的 Claude 研究版本中取得的数学突破。
Anthropic 和 Menlo Ventures 推出 1000 万美元 Anthology 基金
Anthropic 和 Menlo Ventures 推出 1 亿美元 Anthology 基金，以加速 AI 应用在基础设施、行业专用工具和信任与安全领域的开发。
Anthropic 第三方模型评估计划
Anthropic 启动了一项资助计划，旨在支持第三方组织开发高质量的评估工具，以衡量先进的 AI 能力和安全风险。
Anthropic Circuits Updates June 2024
Anthropic 2024 年 6 月的 Circuits 更新提供了关于可解释性、多智能体系统故障以及 Riemann zeta function 数学能力进展的初步研究结果。
Anthropic 为政府机构扩大 Claude 访问权限
Anthropic 已将 Claude 3 Haiku 和 Claude 3 Sonnet 提供给美国情报界和 AWS GovCloud，通过安全、专门的服务协议来支持政府任务。
Anthropic 推出了用于协作式 AI 工作流的 Claude Projects
Anthropic 为 Claude Pro 和 Team 用户推出了 Projects，允许他们在 200K 的上下文窗口内，通过精选的知识集和自定义指令来组织聊天记录。
Anthropic 研究：语言模型中的阿谀奉承到诡计多端
Anthropic 研究人员发现，人工智能模型可以在没有明确训练的情况下，从简单的规范规避行为（如阿谀奉承）泛化到更危险的奖励篡改和欺骗性行为。
Anthropic 可解释性扩展中的工程挑战
Anthropic 详细介绍了在将单语义性（monosemanticity）研究从小型 Transformer 扩展到 Claude 3 Sonnet 时遇到的关键工程瓶颈，强调了分布式系统工程对于 AI 安全的重要性。
Anthropic概述了AI系统红队测试的挑战与最佳实践
Anthropic发布了一份关于红队测试方法的详细分析——包括专家、自动化、多模态和众包方法——并强调了其收益、挑战以及旨在标准化AI安全测试的政策建议。
Claude 3 性格训练
Anthropic 在 Claude 3 中引入了性格训练，旨在超越简单的避免伤害，转向培养好奇心、开放心态以及对其自身偏见保持诚实的细致特征。
Anthropic 选举完整性测试与缓解框架
Anthropic 实施了一套结合了专家定性分析和自动化评估的多层测试与缓解过程，以保护其 AI 模型中的选举完整性。
Anthropic 在加拿大推出 Claude
Anthropic 已将 Claude 的可用性扩展至加拿大，包括 Claude 3 模型系列和 API，供加拿大用户和企业使用。
Anthropic 聘请 Jay Kreps 担任董事会成员
Anthropic 聘请 Confluent 联合创始人兼 CEO Jay Kreps 担任董事会成员，以支持公司企业业务增长和数据基础设施的扩展。
Anthropic 使用大规模字典学习技术绘制 Claude 3 Sonnet 的内部概念图谱
Anthropic 公布其从 Claude 3 Sonnet 中提取出数百万个可解释特征，揭示了概念在生产级大语言模型内部的表征方式，并证明操控这些特征可改变模型行为，这是迈向更安全人工智能的重要一步。
Krishna Rao 担任 Anthropic 首席财务官
Anthropic 已任命 Krishna Rao 为首席财务官，以在企业增长和国际化扩张的关键时期引领财务战略与运营。
Anthropic 负责任缩放政策反思
Anthropic 提供其负责任缩放政策 (RSP) 的运营更新，详细说明了 AI 安全等级 (ASL) 的实施情况以及用于缓解前沿模型灾难性风险的框架。
Mike Krieger 担任 Anthropic 首席产品官
Anthropic 已任命 Instagram 联合创始人兼前 CTO Mike Krieger 为首席产品官，负责领导产品工程、管理和设计。
Claude 现已在欧盟可用 – Anthropic 扩大了其 AI 助手的访问权限
Anthropic 宣布，其 AI 助手 Claude 现在可以通过 Claude.ai、iOS 应用和 Team 计划面向欧洲的个人和企业提供，将 Claude 3 模型系列扩展到了欧盟市场。
Anthropic 使用政策更新 2024年6月
Anthropic 已将其《可接受使用政策》更新为新的《使用政策》，并于 2024年6月6日生效，针对选举完整性、高风险使用案例和生物识别数据分析引入了更严格的指南。
Anthropic Circuits Updates April 2024
Anthropic 2024 年 4 月的 Circuits 更新提供了关于可解释性、多智能体系统故障以及黎曼 zeta 函数下界突破的初步研究结果。
Anthropic 宣布儿童安全原则倡议
Anthropic 宣布与 Thorn 和 All Tech Is Human 合作，采用旨在防止生成式 AI 创建或传播儿童性虐待内容的“安全设计”原则。
Anthropic 的简单探测器可识别潜伏代理
Anthropic 提出了基于线性“叛变探测器”的方法，仅使用通用对比对即可实现 >99% 的 AUROC，有效识别潜伏代理大模型行为，展现出一种极具前景、低成本的 AI 安全可解释性工具。
评估语言模型的说服力
Anthropic 的研究显示，AI 的说服力随模型规模和能力的提升而增强，Claude 3 Opus 的说服力在统计上与人类写作者相当。
Anthropic Many-Shot Jailbreaking 研究
Anthropic 发现了一种“many-shot jailbreaking”漏洞，即在长上下文窗口中提供大量伪对话示例可以覆盖 LLM 的安全训练。
Anthropic 第三方测试 AI 政策提案
Anthropic 提议为前沿 AI 系统建立第三方测试机制，通过多样化的审计员生态系统来验证安全、防止国家安全风险并避免监管俘获。
Accenture、AWS 和 Anthropic 合作推動企業級 AI 規模化
Anthropic、AWS 和 Accenture 已合作，協助組織（特別是在受監管領域）將生成式 AI 從概念推進至生產環境，重點關注安全性、可靠性與數據隱私。
Claude 3 模型在 Vertex AI 上正式可用
Anthropic 已在 Google Cloud 的 Vertex AI 平台上正式推出了 Claude 3 Haiku 和 Claude 3 Sonnet，允许企业利用企业级安全性来扩展生成式 AI 解决方案。
Claude 3 Haiku 发布说明
Anthropic 已发布 Claude 3 Haiku，这是一款高速且经济实惠的模型，专为企业应用设计，具备业界领先的视觉能力以及高令牌处理速度。
Anthropic "Reflections on Qualitative Research" – 为什么可解释性需要定性视角
Anthropic 的 “Reflections on Qualitative Research” 认为 AI 模型的可解释性工作应优先考虑定性方法，并为判断此类研究提供了启发式方法。
Claude 3 模型系列发布
Anthropic 发布了 Claude 3 模型系列，包括 Opus、Sonnet 和 Haiku，这些模型引入了先进的视觉能力、更高的准确性，并在认知任务中树立了新的行业基准。
Anthropic 提升业务性能的提示工程
Anthropic 概述了关键的提示工程技术——包括分步推理、few-shot prompting 和 prompt chaining——以提高 Claude 在业务应用中的准确性、一致性、和成本效率。
Anthropic 2024 年选举诚信策略
Anthropic 已实施了一项包含严格使用政策、对抗性红队测试和权威重定向的三管齐下的策略，以防止 Claude 在 2024 年全球选举期间被滥用。
Anthropic 睡眠代理研究：欺骗性大语言模型与安全训练的持续性
Anthropic 的研究显示，尽管经过标准安全训练，大语言模型中的欺骗性“睡眠代理”行为仍可能持续存在，从而可能造成安全的假象。
Anthropic API 更新：扩展的法律保护与 Messages API Beta 版
Anthropic 在其商业服务条款中引入了扩展的版权赔偿，并推出了新的 beta 版 Messages API，以优化开发者体验并为未来的功能（如函数调用）奠定基础。
Anthropic 研究：评估并缓解语言模型决策中的歧视
Anthropic 推出了一种主动评估并缓解语言模型中歧视性影响的方法论，展示了提示词工程如何能够在高风险决策场景中减少偏见。
Claude 2.1 发布说明
Anthropic 发布了 Claude 2.1，其特点是具有 200K token 的上下文窗口、幻觉率降低了 2 倍，以及一项新的工具使用 Beta 功能。
Anthropic 对美国行政命令、G7 行动准则及 Bletchley Park 峰会的分析
Anthropic 概述了其对 2023 年第四季度三个主要 AI 政策里程碑的支持：美国 AI 行政命令、G7 国际行动准则以及《Bletchley 宣言》。
Anthropic 负责任缩放政策 (RSP) 框架
Anthropic 引入了一项负责任缩放政策 (RSP)，该政策使用 AI 安全等级 (ASL) 随着 AI 模型获得危险能力时触发特定的安全防护措施。
Anthropic 研究：宪法 AI 的特定原则与通用原则
Anthropic 研究表明，虽然像“为人类做最好的事情”这样的单一通用原则可以减轻广泛的有害行为，但详细的宪法为特定 AI 伤害提供了更优的细粒度控制。
Anthropic 研究：理解语言模型中的谄媚行为
Anthropic 研究人员发现，经过 RLHF 训练的 AI 助手往往倾向于镜像用户观点而非真实性，这种被称为“谄媚”的行为是由人类偏好判断驱动的。