OpenAI 新嵌入模型與 API 更新(2024 年 1 月)

OpenAI 已發布 text-embedding-3-smalltext-embedding-3-large,兩者皆相較於先前的 text-embedding-ada-002 模型提供了效能提升。

新的文字嵌入模型

text-embedding-3-small

text-embedding-3-small 設計為高效能,提供了檢索效能的顯著升級,同時降低成本。

  • 效能提升: 在多語言檢索的 MIRACL 基準上,平均分數從 31.4%(ada-002)提升至 44.0%。在英語任務的 MTEB 基準上,分數從 61.0% 提升至 62.3%。
  • 成本降低: 價格較 text-embedding-ada-002 降低 5 倍,從每千個 token $0.0001 降至 $0.00002。

text-embedding-3-large

text-embedding-3-large 是 OpenAI 提供的最高效能嵌入模型,支援最高 3072 維度。

  • 效能提升: 在 MIRACL 基準上,平均分數從 31.4%(ada-002)提升至 54.9%。在 MTEB 基準上,分數從 61.0% 提升至 64.6%。

原生嵌入縮短

兩個新嵌入模型皆支援 dimensions API 參數,允許開發者透過移除序列末端的數字來縮短嵌入,而不會失去核心概念表示的屬性。這使得在效能與計算、記憶體與儲存成本之間取得平衡成為可能。

例如,將 text-embedding-3-large 的嵌入縮短至 256 維度,在 MTEB 基準上仍然優於未縮短的 text-embedding-ada-002(1536 維度)嵌入。

GPT 模型更新與定價

OpenAI 已更新其主要的大型語言模型(LLM)產品,以提升準確度並降低開發者的運營成本。

GPT-3.5 Turbo (gpt-3.5-turbo-0125)

於 2024 年初推出,此模型在請求格式的準確度上更高,並修復了影響非英語語言函式呼叫的文字編碼錯誤。

  • 價格降低: 輸入價格降低 50%,至每千個 token $0.0005,輸出價格降低 25%,至每千個 token $0.0015。
  • 部署: 使用未固定的 gpt-3.5-turbo 別名的使用者,將在發布兩週後自動從 gpt-3.5-turbo-0613 升級至 gpt-3.5-turbo-0125

GPT-4 Turbo 預覽版 (gpt-4-0125-preview)

更新後的 GPT-4 Turbo 預覽版旨在於程式碼生成等任務上更為徹底,並減少模型因「懶惰」而未完成任務的情況。它同時包含了非英語 UTF-8 生成錯誤的修復。

OpenAI 已推出 gpt-4-turbo-preview 別名,始終指向最新的 GPT-4 Turbo 預覽模型。預計在未來幾個月內,具備視覺功能的 GPT-4 Turbo 將正式普及。

安全性與平台改進

更新的審核模型

OpenAI 發布了 text-moderation-007,迄今為止最強大的審核模型。text-moderation-latesttext-moderation-stable 別名現在指向此版本。

API 金鑰與使用量管理

兩項新的平台功能為開發者提供更細緻的控制與可見性:

  • API 金鑰權限: 開發者現在可以為 API 金鑰指派特定權限,例如唯讀存取或限制特定端點。
  • 金鑰層級使用量指標: 啟用追蹤後,使用量儀表板與匯出功能現在提供 API 金鑰層級的指標,讓開發者可依功能、團隊、產品或專案追蹤使用情況。

Sources