GPT-4V(ision) 系統卡

具備視覺能力的 GPT-4 (GPT-4V) 使用者可以向 GPT-4 提供圖像輸入進行分析，將大型語言模型 (LLM) 的能力從僅限文本處理擴展到更多領域。這種多模態整合透過結合視覺感知與語言推理，使系統能夠解決新型態的任務並創造全新的介面。

多模態能力與影響

GPT-4V 將圖像輸入整合進現有的 GPT-4 框架中，OpenAI 將其視為 AI 研究的一個關鍵前沿。透過增加視覺模態，模型可以分析使用者提供的圖像，並根據該視覺數據遵循指令。這種從純語言系統向多模態系統的轉變，使 AI 能夠透過視覺資訊與世界互動，顯著擴展了其潛在用途以及能為使用者提供的體驗範圍。

安全評估與緩解措施

OpenAI 為 GPT-4V 進行的安全工作是建立在 GPT-4 已建立的基礎之上，並特別關注圖像輸入所引入的獨特風險。GPT-4V 系統卡詳細說明了為確保模型安全處理視覺數據而實施的評估、準備與緩解策略。

由於與純文本輸入相比，圖像輸入引入了新的攻擊向量和潛在的濫用可能性，OpenAI 針對視覺模態進行了更深入的安全評估，以便在廣泛發布前識別並緩解風險。