Hugging Face SafeCoder 発表

TL;DR

Hugging Faceは、企業がセルフホスト型で完全にコンプライアンスに準拠したコードアシスタントをデプロイできる完全な商用ソリューションであるSafeCoderを発表しました。これにより、企業は自社の独自コードベース内で、自社のVirtual Private Cloud (VPC)において、Code Large Language Models (LLMs)をファインチューニングおよび実行でき、機密な知的財産がセキュアな環境から外部に漏れることを防ぎます。

SafeCoder: エンタープライズグレードのコードアシスタント

SafeCoderはスタンドアロンのモデルではなく、クローズドソースLLMに関連するセキュリティおよびコンプライアンスリスクを排除しながら、AIペアプログラマーの生産性の利点を提供するエンドツーエンドの商用ソリューションです。

Key characteristics of the SafeCoder solution include:

  • Self-Hosting: 顧客自身のインフラストラクチャへのデプロイ向けに設計されています。
  • Data Sovereignty: コードはトレーニングまたは推論のいずれのフェーズでも、顧客のVPCから外部に出ることはありません。
  • Ownership: 顧客はその結果得られたファインチューニングされたCode LLMを所有します。
  • Hardware Flexibility: NVIDIA Ampere GPU、AMD Instinct GPU、Habana Gaudi2、AWS Inferentia 2、Intel Xeon Sapphire Rapids CPUなど、幅広いアクセラレータをサポートします。

技術的基盤: StarCoderファミリー

SafeCoderの初期バージョンは、Hugging Face、ServiceNow、オープンソースコミュニティのコラボレーションであるBigCodeプロジェクトによって開発されたStarCoderファミリーのモデルによって駆動されます。

StarCoder provides several technical advantages for enterprise use:

  • Performance: 15Bパラメータのモデルで、Multi-Query Attention（メモリフットプリントを削減）およびFlash Attention（8,192トークンのコンテキストにスケール）により推論に最適化されています。
  • Ethical Sourcing: 「The Stack」上でトレーニングされており、これは商用利用可能なライセンスコードのみからなり、開発者のオプトアウトメカニズム、PII削除、重複除去が組み込まれています。
  • Adaptability: オープンソースの基盤上に構築されているため、SafeCoderは新しくより能力の高いオープンソースモデルが利用可能になるに従ってアップデートできます。

プライバシー、セキュリティ、およびコンプライアンス

SafeCoderは、AIコーディングアシスタントの導入時に企業が直面する主な障壁、すなわちファインチューニングまたは推論中に独自コードが漏洩するリスクに対処します。

プライバシーとセキュリティの実装

セットアップフェーズでは、Hugging Faceは、顧客が内部コードベースをトレーニングデータセットに準備および脱識別するために必要なコンテナ、スクリプト、および例を提供します。このトレーニングは、顧客自身のハードウェアに設定されたHugging Face提供のコンテナ内で行われます。デプロイメントでは、Hugging Faceは、顧客のVPC内のプライベートエンドポイントを公開する推論コンテナを提供します。

コンプライアンスと法的リスクの軽減

Safeのリスクの軽減 SafeCoderは、BigScienceとBigCodeのコンプライアンス作業を活用して法的リスクを最小限に抑えます。具体的には、SafeCoderによって生成されるコード補完はThe Stackと照合されます。これにより、ユーザーは提案されたコードが既存のソースデータと一致するかを特定し、関連するライセンスを確認できるため、顧客は望むライセンスポリシーを適用できます。

ワークフロー: トレーニング、デプロイ、および使用法

カスタムモデルトレーニング

顧客は、Hugging Faceチームがトレーニングデータセットの構築と独自コードでのモデルファインチューニングをガイドするトレーニングフェーズを選択できます。これにより、企業固有の言語、標準、およびプラクティスに適応したモデルが得られ、ベンダーロックインを回避するための今後のアップデートのためのパイプラインも確立されます。

デプロイと統合

Hugging Faceは、顧客の特定のインフラストラクチャに基づいてスループットを最適化したハードウェアアクセラレーションされた推論コンテナを構築します。稼働後、開発者はVSCodeおよびIntelliJ用の互換性のあるIDEプラグインを介してアシスタントにアクセスします。

可用性とVMwareパートナーシップ

SafeCoderは、VMware Exploreカンファレンスで発表されたコラボレーションを通じて、VMwareエンタープライズ顧客に提供されます。このパートナーシップにより、VMwareのPrivate AI Reference Architectureを使用して、RayやKubeflowなどのツールを活用し、プライベートデータセットに隣接したAIサービスをデプロイするVMware Cloudインフラストラクチャ（オンプレミス、ハイブリッド、またはクラウド）上にSafeCoderをデプロイできるようになります。

Sources