Anthropic Claude 3.5 Sonnet と Claude 3.5 Haiku のリリース

Anthropic は、Claude 3.5 Sonnet のアップグレード版と、新しいモデルである Claude 3.5 Haiku を導入すると同時に、「computer use」と呼ばれる新しい機能のパブリックベータ版をリリースしました。このアップデートにより、AI モデルは、人間のユーザーと同じように、カーソルを動かし、ボタンをクリックし、テキストを入力するなど、コンピュータのインターフェースを操作できるようになります。

Computer Use: パブリックベータ版における一般的なコンピュータ操作

Claude 3.5 Sonnet は、「computer use」のパブリックベータ版を提供する最初のフロンティア AI モデルであり、高レベルの指示を、ソフトウェアやウェブを操作するための一連のコンピュータコマンドに変換することができます。個別のタスクに対して特定のツールに依存するのではなく、この機能は一般的なコンピュータ操作スキルに焦点を当てています。

技術的な実装とパフォーマンス

開発者は、Claude がコンピュータのインターフェースを認識して操作できるようにする API を統合できます。人間のようにコンピュータを使用する能力を測定する OSWorld の評価において、Claude 3.5 Sonnet はスクリーンショットのみのカテゴリで 14.9% のスコアを達成し、次に優れた AI システムのスコア 7.8% を上回りました。タスクを完了するために、より多くのステップが許可された場合、そのスコアは 22.0% に上昇しました。

現在の制限事項と安全性

Anthropic は、この機能を実験的なものとして説明しており、煩雑であったりエラーが発生しやすかったりする場合があることを指摘しています。スクロール、ドラッグ、ズームといった一般的な人間の操作は、モデルにとって依然として困難です。スパム、誤情報、詐欺に関連するリスクを軽減するため、Anthropic は、computer use がアクティブであるか、および危害が発生しているかどうかを識別するための新しい分類器を開発しました。

アップグレードされた Claude 3.5 Sonnet: 高度なソフトウェアエンジニアリング

更新された Claude 3.5 Sonnet は、以前のモデルと比較して全体的な改善を提供し、価格と速度は同じまま、エージェント的なコーディングおよびツール使用能力を大幅に強化しています。

コーディングとツール使用のベンチマーク

  • SWE-bench Verified: パフォーマンスは 33.4% から 49.0% に向上し、OpenAI o1-preview のような推論モデルを含む、公開されているすべてのモデルを上回りました。
  • TAU-bench: 小売分野ではパフォーマンスが 62.6% から 69.2% に向上し、航空分野では 36.0% から 46.0% に向上しました。

業界での採用

GitLab, Cognition, および The Browser Company は、大きな成果を報告しています。GitLab は、遅延を追加することなく、より強力な推論（ユースケース全体で最大 10%）を報告し、Cognition は、コーディング、計画、および問題解決における改善を観察しました。

Claude 3.5 Haiku: 高速かつ手頃な価格

Claude 3.5 Haiku は、Anthropic の次世代の最速速モデルであり、低遅延かつ高効率に設計されています。多くの知能ベンチマークにおいて、Claude 3 Opus（以前の世代の最大モデル）のパフォーマンスに匹敵、またはそれを上回る一方で、元の Claude 3 Haiku と同様の速度を維持しています。

パフォーマンスとユースケース

Claude 3.5 Haiku は SWE-bench Verified で 40.6% を記録し、元の Claude 3.5 Sonnet や GPT-4o を上回りました。その低遅延と改善された指示への追従性により、ユーザー向け製品、特化型サブエージェントタスク、および在庫や価格記録などの大量のデータを処理することに最適化されています。

価格と利用可能性

2024年12月3日現在、Claude 3.5 Haiku は、入力トークン 100 万個あたり $0.80、出力トークン 100 万個あたり $4.00 で提供されています。Anthropic API, Amazon Bedrock, および Google Cloud の Vertex AI を通じて利用可能です。当初はテキストのみのモデルとして提供され、画像入力のサポートが後ほど追加される予定です。

Sources

関連