エンタープライズ向け基盤モデルのための Snorkel AI と Hugging Face の統合

TL;DR

Snorkel AI と Hugging Face は提携し、Hugging Face Inference Endpoints を Snorkel Flow プラットフォームに統合しました。このコラボレーションにより、エンタープライズはオープンソースの基盤モデルの豊富なライブラリにアクセスし、Snorkel のデータ中心のプログラムラベリングを使用して特定のビジネスユースケースに適応させることができ、大規模モデルのホスティングやファインチューニングにかかるコストと複雑さを削減します。

Snorkel Flow を通じた基盤モデルの適応

Snorkel Flow は、反復的な「検出と修正」開発プロセスを通じて、エンタープライズが特定の本番ユースケース向けに基盤モデルを適応させることを可能にします。このワークフローは、選択した基盤モデルの「箱から出したまま」の予測を社内データで検査することから始まり、これが初期のトレーニングラベルとして機能します。

ユーザーはモデルのエラーモードを特定し、プログラムラベリングを用いて修正します。プログラムラベリングは、ヒューリスティックやプロンプトを通じてトレーニングラベルを更新することを含みます。その後、ベースとなる基盤モデルはこれらの更新されたラベルでファインチューニングされ、再評価されます。このサイクルは、モデルがデプロイに必要な品質に達するまで続きます。

Hugging Face モデルとインフラストラクチャの統合

Snorkel AI は Hugging Face を活用し、BioBERT や SciBERT などのドメイン固有モデルを含む 150,000 以上のオープンソースモデルへのアクセスをユーザーに提供します。この多様性により、ユーザーは自社の特定のビジネスニーズに最も適したベースモデルを選択でき、初期予測やファインチューニングのスタートを迅速に行えます。

これらのモデルに関連するインフラストラクチャとコストを管理するため、Snorkel AI は Hugging Face Inference Endpoints を利用します。このサービスは、以下のような主要な技術的利点を提供します：

• 迅速なデプロイ: ユーザーは数クリックでモデル API を作成し、すぐに使用できます。
• コスト効率: 「一時停止と再開」機能により、Snorkel はクライアントが必要とする時だけモデル API を有効化し、非アクティブ時にはスリープさせることができます。
• 柔軟な構成: このサービスは、クラウドプロバイダーの選択やセキュリティレベルのオプションを提供し、エンタープライズの要件に対応します。

AI 開発におけるエンタープライズへの影響

このパートナーシップは、エンタープライズが基盤モデルを採用する際に直面する主な障壁、すなわち自己ホスティングの高コスト、ゼロからモデルを訓練するリソースの不足、ガバナンスなしで市販モデルを本番環境で使用するリスクに対処します。

Snorkel の自動データラベリングと Hugging Face のオープンソースエコシステムを組み合わせることで、企業は手動でのファインチューニングに通常必要とされる膨大なデータセットを必要とせずに、データ中心の AI アプリケーションを構築できます。Hugging Face の共同創業者兼 CEO である Clement Delangue は次のように述べています：

"Snorkel AI と Hugging Face Inference Endpoints を活用することで、企業はオープンソースを核にしたデータ中心の AI アプリケーションを加速させることができます。"

この統合により、組織は顧客体験やユースケースに合わせた特定のソリューションに対するコントロールを維持しつつ、オープンソースコミュニティの進歩を活用できます。