OpenAI 新しい埋め込みモデルと API アップデート（2024年1月）

OpenAI は、2 つの新しい埋め込みモデルと、GPT-4 Turbo および GPT-3.5 Turbo の更新版、さらにコスト削減とモデル性能向上を目的とした新しい API 管理ツールを開発者向けに導入しました。

新しいテキスト埋め込みモデル

OpenAI は text-embedding-3-small と text-embedding-3-large をリリースしました。これらは従来の text-embedding-ada-002 モデルに比べて性能が向上しています。

text-embedding-3-small は高効率を念頭に設計され、コストを削減しながら検索性能を大幅に向上させます。

Performance Gains: 多言語検索の MIRACL ベンチマークでは、平均スコアが 31.4%（ada-002）から 44.0% に上昇しました。英語タスクの MTEB ベンチマークでは、スコアが 61.0% から 62.3% に上がりました。
Cost Reduction: 価格は text-embedding-ada-002 と比べて 5 倍削減され、1k トークンあたり $0.0001 から $0.00002 に下がりました。

text-embedding-3-large は OpenAI が提供する中で最も高性能な埋め込みモデルで、最大 3072 次元をサポートします。

Performance Gains: MIRACL ベンチマークでは、平均スコアが 31.4%（ada-002）から 54.9% に上昇しました。MTEB ベンチマークでは、スコアが 61.0% から 64.6% に上がりました。

両方の新しい埋め込みモデルは dimensions API パラメータをサポートしており、シーケンスの末尾の数値を削除しても概念表現の特性を失わずに埋め込みを短縮できます。これにより、性能と計算・メモリ・ストレージコストのトレードオフが可能になります。

例えば、text-embedding-3-large の埋め込みを 256 次元に短縮しても、MTEB ベンチマークでは 1536 次元の未短縮 text-embedding-ada-002 埋め込みを上回ります。

OpenAI は、開発者向けに精度を向上させ、運用コストを削減するために主要な LLM 製品を更新しました。

2024 年初頭にリリースされたこのモデルは、要求されたフォーマットに対する精度が向上し、非英語言語の関数呼び出しに影響するテキストエンコーディングのバグが修正されています。

Price Reductions: 入力価格が 50% 削減され $0.0005 /1K トークン、出力価格が 25% 削減され $0.0015 /1K トークンとなります。
Deployment: ピン留めされていない gpt-3.5-turbo エイリアスのユーザーは、リリース後 2 週間で自動的に gpt-3.5-turbo-0613 から gpt-3.5-turbo-0125 にアップグレードされます。

更新された GPT-4 Turbo プレビューは、コード生成などのタスクでより徹底的に動作し、モデルがタスクを完了できない「怠惰」なケースを減らすよう設計されています。また、非英語 UTF-8 生成バグの修正も含まれています。

OpenAI は gpt-4-turbo-preview エイリアスを導入し、常に最新の GPT-4 Turbo プレビュー・モデルを指すようにしました。ビジョン機能付き GPT-4 Turbo の一般提供は今後数か月で開始される見込みです。

OpenAI は text-moderation-007 をリリースしました。これはこれまでで最も堅牢なモデレーションモデルです。text-moderation-latest と text-moderation-stable エイリアスは現在このバージョンを指しています。

2 つの新しいプラットフォーム機能により、開発者はより細かい制御と可視性を得られます。

API Key Permissions: 開発者は API キーに対して読み取り専用アクセスや特定エンドポイントへの制限など、具体的な権限を割り当てられるようになりました。
Key-Level Usage Metrics: トラッキングを有効化すると、使用状況ダッシュボードとエクスポート機能が API キー単位のメトリクスを提供し、機能、チーム、製品、プロジェクトごとの使用量を追跡できるようになります。