Claude 3.5 Sonnet リリースノート / 新機能

Anthropicは、Claude 3.5モデルファミリーの最初のリリースとなるClaude 3.5 Sonnetをリリースしました。このモデルは、ミッドティアモデルの速度とコストプロファイルを維持しながら、幅広い評価において競合モデルや以前の最上位モデルであるClaude 3 Opusを凌駕するインテリジェンスを提供します。

パフォーマンスとインテリジェンスのベンチマーク

Claude 3.5 Sonnetは、大学院レベルの推論（GPQA）、学部レベルの知識（MMLU）、およびコーディングの習熟度（HumanEval）において、業界の新しいベンチマークを確立しました。このモデルは、ニュアンスやユーモアの把握、複雑な指示への追従において大幅な改善を示し、自然なトーンで高品質なコンテンツを生成します。

エージェンティック・コーディング能力

内部のエージェンティック・コーディング評価において、Claude 3.5 Sonnetは問題の64%を解決しましたが、Claude 3 Opusは38%でした。これらのテストは、自然言語による記述に基づいて、オープンソースのコードベースにバグを修正したり機能を追加したりする能力を測定するものです。関連するツールを備えた場合、このモデルは、コードの翻訳やレガシーアプリケーションの移行などのタスクを自律的に記述、編集、実行することができます。

スピード、コスト、および可用性

Claude 3.5 Sonnetは、Claude 3 Opusの2倍の速度で動作します。このパフォーマンスの向上とコスト効率の組み合わせにより、マルチステップのワークフローや文脈に依存するカスタマーサポートに適しています。

料金プランと技術仕様:

  • Input Cost: $3 per million tokens
  • Output Cost: $15 per million tokens
  • Context Window: 200K tokens

可用性:

  • Free Access: Claude.ai および Claude iOS app で利用可能。
  • Paid Access: Claude Pro および Team plan のサブスクライバーは、より高いレート制限を利用できます。
  • API/Cloud Access: Anthropic API、Amazon Bedrock、および Google Cloud の Vertex AI を介して利用可能です。

視覚的推論とビジョン能力

Claude 3.5 Sonnetは、Anthropic史上最強のビジョンモデルであり、標準的なビジョンベンチマークにおいてClaude 3 Opusを凌駕しています。このモデルは、視覚的推論、特にチャートやグラフの解釈、および不完全な画像からの正確なテキスト転記において顕著な改善を示しています。これらの能力は、小売、物流、金融サービス部門において特に有用です。

Artifacts: 共同作業用ワークスペース

Anthropicは、Claude.ai 上に「Artifacts」を導入しました。これは、インターフェースを対話型AIから共同作業環境へと変貌させる機能です。Claudeがコードスニペット、ウェブサイトのデザイン、またはテキストドキュメントを生成すると、それらは会話の横に専用のウィンドウで表示されます。これにより、ユーザーはAIが生成したコンテンツをリアルタイムで確認、編集、および構築することができます。

安全性、プライバシー、および外部評価

Claude 3.5 Sonnetは、レッドチーミング評価に基づき、AI Safety Level 2 (ASL-2) を維持しています。安全性を確保するため、Anthropicは英国の Artificial Intelligence Safety Institute (UK AISI) と連携し、展開前の安全性評価を実施し、その結果を US AI Safety Institute (US AISI) と共有しました。

安全性とプライバシー対策:

  • External Expertise: Thorn の child safety experts を含む専門家からのフィードバックを統合し、分類器を洗練させ、モデルを微調整しました。
  • Data Privacy: 生成モデルは、ユーザーの明示的な許可なしに、ユーザーが提出したデータで学習を行いません。

将来のロードマップ

Anthropicは、モデルファミリーを完成させるために、Claude 3.5 Haiku と Claude 3.5 Opus を今年後半にリリースする予定です。今後の開発には、新しいモダリティ、エンタープライズ・アプリケーションの統合、および Claude がユーザーの好みや対話履歴を記憶するための「Memory」機能が含まれます。

Sources

関連