ChatGPT 插件发布

OpenAI 已在 ChatGPT 中实现了对插件的初步支持，使语言模型能够访问最新信息、执行计算并利用第三方服务。这一扩展将 ChatGPT 从文本生成引擎转变为能够与外部数据交互并代表用户执行受限操作的系统。

核心能力与目的

插件充当语言模型的“眼睛和耳朵”，克服静态训练数据的固有限制。通过提供对过于新近、个人化或特定于训练语料库的信息的访问，插件使 ChatGPT 能够：

• 访问实时数据： 从互联网或特定数据库检索当前信息。
• 执行计算： 进行精确的数学和技术计算。
• 执行操作： 使用第三方服务集成执行安全、受限的任务。

OpenAI 正在迭代部署这些工具，首先面向少量用户和 ChatGPT Plus 订阅者，以研究实际影响和安全挑战，然后再向 API 用户扩展访问。

官方插件：浏览和代码解释器

OpenAI 已推出两个主要内部插件，以增强模型的基础能力：

网络浏览

浏览插件允许 ChatGPT 从互联网读取信息，扩展其超出训练语料库的知识。

• 技术实现： 插件使用 Bing 搜索 API，并限制为仅发起 GET 请求以降低安全风险。它在一个与 OpenAI 主基础设施分离的隔离服务中运行。
• 网络公民责任： 插件使用用户代理标识 ChatGPT-User 并遵守 robots.txt 文件，以尊重内容创作者。
• 透明性： 系统引用其来源并列出访问过的网站，允许用户验证准确性并向创作者致谢。

代码解释器

代码解释器为 ChatGPT 提供了一个在沙箱、受防火墙保护的执行环境中运行的 Python 解释器，具备临时磁盘空间。

• 功能： 它支持文件上传和下载，使模型能够解决定量和定性数学问题，执行数据分析和可视化，并在不同格式之间转换文件。
• 安全性： 为防止意外副作用，环境通过严格的网络控制进行加固，禁用执行代码的外部互联网访问。

开源检索插件

OpenAI 已开源一个检索插件，使 ChatGPT 能够在获得授权的情况下访问个人或组织的信息来源。

• 机制： 插件利用 OpenAI 嵌入，并允许开发者选择向量数据库（如 Milvus、Pinecone、Qdrant、Redis、Weaviate 或 Zilliz）来对文档进行索引和搜索。
• 安全性： 由于该插件是自托管解决方案，仅将结果添加到 ChatGPT 会话中而不产生外部影响，主要安全风险集中在数据授权和隐私上。

第三方插件生态系统

第三方插件旨在由语言模型根据包含机器可读能力描述和面向用户文档的清单文件进行调用。

开发流程

开发者通过构建 API（新建、已有或包装）并提供 OpenAPI 规范和清单文件来创建插件。当用户启用插件时，其文档会作为对话上下文的一部分提供给模型，使模型能够确定何时以及如何调用该 API。

初始合作伙伴

早期合作伙伴包括 Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram 和 Zapier。

安全性与社会影响

将语言模型连接到外部工具会带来重大风险，包括可能的有害或意外行为、复杂的提示注入以及信息的滥用。

缓解策略

OpenAI 基于内部和外部的红队演练实施了多项安全防护措施：

• 安全设计： 限制风险插件行为并提升对插件运行时机的透明度。
• 迭代部署： 逐步推出访问，以限制潜在问题的影响范围。
• 评估框架： 使用开源的 Evals 框架进行安全性和能力评估。

经济影响

OpenAI 引用了研究，指出具备工具访问能力的语言模型可能比没有此能力的模型产生更大的经济影响，可能加速工作岗位的转型、流失和新岗位的创造。