OpenAI text-embedding-ada-002 リリース

TL;DR

OpenAIは text-embedding-ada-002 をリリースしました。この単一の埋め込みモデルは5つの旧モデルに取って代わり、テキスト検索、コード検索、文の類似性においてより高い性能を提供し、8Kコンテキストをサポートし、1536次元のベクトルを使用し、以前のDavinciベースの埋め込みより最大99.8%低コストです。

モデルの改善点

統合された機能 – 新しいモデルは、5つの従来の埋め込みモデル（text-similarity、text-search-query、text-search-doc、code-search-text、code-search-code）を1つのAPIエンドポイントに統合し、統合を簡素化するとともに、幅広いベンチマークスイートでより良い結果を提供します。

性能向上 – BEIRベンチマークスイート（ArguAna、ClimateFEVER、DBPedia、FEVER、FiQA2018、HotpotQA、NFCorpus、QuoraRetrieval、SciFact、TRECCOVID、Touche2020 を含む）において、text-embedding-ada-002 は 53.3 のスコアを獲得し、次点のモデル text-search-davinci-*-001（52.8）や他のすべての従来の埋め込みを上回ります。また、テキスト分類ではDavinciと同等の性能を示し、コード検索では従来モデルを超えています。

長いコンテキスト – コンテキスト長が2048トークンから 8192 トークン に増加し、文書を切り捨てることなくはるかに長い文書の埋め込みが可能になりました。

小さいベクトル – 埋め込みは 1536 次元 で、以前の Davinci‑001 埋め込みの1/8 のサイズとなり、ベクトルデータベースにおける保存と取得コストを削減します。

コスト削減 – 価格は同等サイズの旧モデルより 90% 低く、全体のコストは Davinci 埋め込みを使用する場合と比べて 99.8% 低く なり、同等またはそれ以上の性能を提供します。

制限事項

text-embedding-ada-002 は SentEval 線形プロービング分類ベンチマークにおいて text-similarity-davinci-001 を 上回りません。埋め込み上に軽量な線形分類器を訓練するタスクでは、ユーザーは両モデルを比較し、より高い精度を示す方を選択すべきです。

より広範な制限やリスクに関する考慮事項については、埋め込みドキュメントの Limitations & Risks セクションを参照してください。

使用例

Embedding a short text with the new model requires only two lines of Python using the OpenAI library:

import openai
response = openai.Embedding.create(
    input="porcine pals say",
    model="text-embedding-ada-002"
)

レスポンスには、入力を表す 1536 次元のベクトルが含まれます。

実世界での応用例

  • Kalendar AI は新しい埋め込みを使用して、販売ピッチを 3.4億 の顧客プロファイルにマッチさせ、従来の手法と比較して不要なターゲティングを 40–56% 削減しています。
  • Notion はキーワードベースの検索を OpenAI の埋め込みに置き換え、ワークスペースプラットフォーム内での関連性と発見性を向上させることを計画しています。

開発者と企業への影響

5つのモデルを単一の、より安価で高性能な埋め込みサービスに統合することで、エンジニアリングの負担と運用コストが削減されます。長いコンテキストウィンドウと小さなベクトルサイズにより、文書全体を埋め込み、効率的に保存することが可能となり、セマンティック検索、レコメンデーション、コード検索などの応用範囲が拡大します。

参考文献

Sources