OpenAI 新嵌入模型與 API 更新(2024 年 1 月)
OpenAI 已發布 text-embedding-3-small 與 text-embedding-3-large,兩者皆相較於先前的 text-embedding-ada-002 模型提供了效能提升。
新的文字嵌入模型
text-embedding-3-small
text-embedding-3-small 設計為高效能,提供了檢索效能的顯著升級,同時降低成本。
- 效能提升: 在多語言檢索的 MIRACL 基準上,平均分數從 31.4%(
ada-002)提升至 44.0%。在英語任務的 MTEB 基準上,分數從 61.0% 提升至 62.3%。 - 成本降低: 價格較
text-embedding-ada-002降低 5 倍,從每千個 token $0.0001 降至 $0.00002。
text-embedding-3-large
text-embedding-3-large 是 OpenAI 提供的最高效能嵌入模型,支援最高 3072 維度。
- 效能提升: 在 MIRACL 基準上,平均分數從 31.4%(
ada-002)提升至 54.9%。在 MTEB 基準上,分數從 61.0% 提升至 64.6%。
原生嵌入縮短
兩個新嵌入模型皆支援 dimensions API 參數,允許開發者透過移除序列末端的數字來縮短嵌入,而不會失去核心概念表示的屬性。這使得在效能與計算、記憶體與儲存成本之間取得平衡成為可能。
例如,將 text-embedding-3-large 的嵌入縮短至 256 維度,在 MTEB 基準上仍然優於未縮短的 text-embedding-ada-002(1536 維度)嵌入。
GPT 模型更新與定價
OpenAI 已更新其主要的大型語言模型(LLM)產品,以提升準確度並降低開發者的運營成本。
GPT-3.5 Turbo (gpt-3.5-turbo-0125)
於 2024 年初推出,此模型在請求格式的準確度上更高,並修復了影響非英語語言函式呼叫的文字編碼錯誤。
- 價格降低: 輸入價格降低 50%,至每千個 token $0.0005,輸出價格降低 25%,至每千個 token $0.0015。
- 部署: 使用未固定的
gpt-3.5-turbo別名的使用者,將在發布兩週後自動從gpt-3.5-turbo-0613升級至gpt-3.5-turbo-0125。
GPT-4 Turbo 預覽版 (gpt-4-0125-preview)
更新後的 GPT-4 Turbo 預覽版旨在於程式碼生成等任務上更為徹底,並減少模型因「懶惰」而未完成任務的情況。它同時包含了非英語 UTF-8 生成錯誤的修復。
OpenAI 已推出 gpt-4-turbo-preview 別名,始終指向最新的 GPT-4 Turbo 預覽模型。預計在未來幾個月內,具備視覺功能的 GPT-4 Turbo 將正式普及。
安全性與平台改進
更新的審核模型
OpenAI 發布了 text-moderation-007,迄今為止最強大的審核模型。text-moderation-latest 與 text-moderation-stable 別名現在指向此版本。
API 金鑰與使用量管理
兩項新的平台功能為開發者提供更細緻的控制與可見性:
- API 金鑰權限: 開發者現在可以為 API 金鑰指派特定權限,例如唯讀存取或限制特定端點。
- 金鑰層級使用量指標: 啟用追蹤後,使用量儀表板與匯出功能現在提供 API 金鑰層級的指標,讓開發者可依功能、團隊、產品或專案追蹤使用情況。