Cohere と Hugging Face 推論プロバイダーの統合

Hugging Face は Cohere を HF Hub のサポートされている推論プロバイダーとして統合しました。この統合は、モデル作成者が自分のモデルを直接 Hub 上で共有・提供するのが初めてとなり、エンタープライズ向け AI ソリューションの包括的なスイートに対してサーバーレス推論を可能にします。

サポートされている Cohere モデル

Cohere と Cohere Labs は、特定のビジネスおよび研究用途に最適化された複数のモデルを提供しており、現在サーバーレス推論で利用可能です。

  • c4ai-command-a-03-2025: 高速で安全かつ高品質な AI を必要とする高需要エンタープライズ向けに設計されています。256k のコンテキスト長、検証可能な引用付きの高度な取得強化生成（RAG）、エージェントツールの使用、そして 23 言語の多言語サポートを備えています。
  • aya-expanse-32b: 23 言語（アラビア語、中国語、フランス語、ドイツ語、ヒンディー語、日本語、韓国語、スペイン語を含む）をサポートする最先端の多言語モデルで、128k のコンテキスト長を持ちます。
  • c4ai-command-r7b-12-2024: 低コストかつ低レイテンシのユースケース向けに最適化されたオープンウェイトモデルです。23 言語をサポートし、引用検証付き RAG、推論、エージェントツールの使用を 128k のコンテキスト長で提供します。
  • aya-vision-32b: OCR、キャプション生成、視覚的推論、質問応答などのビジョン・言語タスクに最適化された 320 億パラメータのマルチモーダルモデルで、23 言語に対応しています。

その他のサポートされているモデルには c4ai-command-r-v01、c4ai-command-r-plus、c4ai-command-r-08-2024、aya-expanse-8b、aya-vision-8b が含まれます。

実装とアクセス方法

ユーザーは Hugging Face のウェブサイト UI または複数のクライアント SDK を通じて Cohere モデルにアクセスできます。

ウェブサイト UI

ユーザーは Cohere 推論プロバイダーでモデルハブをフィルタリングし、互換性のあるモデルを見つけることができます。モデルカードからプロバイダーを選択し、UI 内で直接推論を実行できます。

クライアント SDK

Cohere モデルは以下の方法で呼び出すことができます。

  • Python (huggingface_hub): huggingface_hub（v0.30.0 以降）をインストールし、InferenceClient で provider="cohere" を指定します。
  • JavaScript (@huggingface/inference): HfInference クライアントを使用し、chatCompletion 呼び出しで provider: "cohere" パラメータを指定します。
  • OpenAI Client: base_url を https://router.huggingface.co/cohere/compatibility/v1 に設定し、OpenAI クライアントライブラリを使用します。

エージェントツールの使用

Cohere モデルは、Hugging Face Hub クライアントと OpenAI クライアントの両方を通じて最先端のエージェントツールの使用をサポートします。これにより、ツール（関数）を定義し推論クライアントに渡すことで、モデルが外部 API とやり取りできるようになります。

例えば、2 つの都市間のフライト情報を取得するツールを定義できます。モデルのチャットテンプレート（オープンソース）はツール定義の表現を処理し、クライアントはツール呼び出しと結果をモデルに渡して最終応答を生成します。

請求とクレジット

Hub 上の Cohere モデルの請求は、認証方法に基づいて処理されます。

  • Direct Requests: Cohere API キーを使用するユーザーは、Cohere アカウントを通じて直接請求されます。
  • Routed Requests: Hub を介して認証するユーザーは、Hugging Face の追加マークアップなしで標準の Cohere API 料金を支払います。

さらに、Hugging Face PRO ユーザーは毎月 $2 相当の推論クレジットを受け取り、さまざまなプロバイダーに適用できます。

Sources