GPT-4V(ision) 系统卡

GPT-4 具有视觉能力（GPT-4V）使用户能够向 GPT-4 提供图像输入进行分析，从而将大型语言模型（LLM）的能力扩展到纯文本处理之外。这种多模态集成使系统能够通过结合视觉感知和语言推理来解决新类型的任务并创建新颖的界面。

多模态能力与影响

GPT-4V 将图像输入纳入现有的 GPT-4 框架，OpenAI 将其视为 AI 研究的关键前沿。通过添加视觉模态，模型可以分析用户提供的图像，并基于该视觉数据遵循指令。从纯语言系统转变为多模态系统使 AI 能够通过视觉信息与世界互动，显著扩展其潜在实用性以及它可以为用户提供的体验范围。

安全评估与缓解措施

OpenAI 针对 GPT-4V 的安全工作建立在 GPT-4 已有基础之上，特别关注图像输入带来的独特风险。GPT-4V 系统卡详细说明了为确保模型安全处理视觉数据而实施的评估、准备和缓解策略。

由于图像输入相比纯文本输入引入了新的攻击向量和潜在滥用风险，OpenAI 对专门针对视觉模态的安全评估进行了更深入的研究，以在广泛可用之前识别和缓解风险。