snorkel-team/snorkel

解決する課題

Snorkel は、機械学習における手動データラベル付けのボトルネックを解消します。人間が数千もの個別の例を手作業でラベル付けする代わりに、ユーザーがプログラム的にトレーニングデータを作成・管理できるようにすることで、高品質なデータセットの構築に必要な時間と労力を削減します。

仕組み

「弱教師あり学習」のためのフレームワークを提供しており、ユーザーはラベル付け関数を記述することで、データにプログラム的にラベルを割り当てることができます。このアプローチはデータ作成プロセスに数学的およびシステム的な構造をもたらし、反復的な開発を可能にするとともに、すべてのインスタンスを手動でラベル付けすることなく、トレーニングパイプラインに専門知識を注入できるようにします。

対象ユーザー

機械学習プロジェクトのために、大量のラベル付きトレーニングデータを効率的に生成する必要がある機械学習エンジニア、研究者、および専門家向けに設計されています。

主な特徴

• トレーニングデータのプログラム的なラベル付け
• 弱教師あり学習モデリングのためのフレームワーク
• データ拡張およびマルチタスク学習のサポート
• 医学や産業など、さまざまなドメインとの統合