huggingface/transformers

何を解決するか

Transformers は、最先端の事前学習済み機械学習モデルへのアクセスと使用を一元化・統合したフレームワークを提供します。モデルをゼロから訓練する必要がなくなり、計算コストと炭素排出量を削減し、開発者や研究者がさまざまなモダリティで高性能なAIを実装する際の障壁を低くします。

動作方法

これはAIエコシステム全体でモデルの定義を標準化するモデル定義フレームワークとして機能します。この一元化により、モデルはDeepSpeedやPyTorch-Lightningなどのさまざまなトレーニングフレームワーク、およびvLLMやTGIなどの推論エンジンと互換性を持ちます。ユーザーは高レベルの Pipeline API を使って、テキスト、音声、ビジョン、マルチモーダルタスクの前処理を自動で処理し、出力を迅速に取得できます。

対象ユーザー

事前学習済みモデルを活用・カスタマイズ・トレーニングしたいが、基盤となるアーキテクチャをゼロから構築したくない研究者、エンジニア、開発者

主な特徴

• テキスト、コンピュータビジョン、音声、動画、マルチモーダルモデル向けの統一API。
• Hugging Face Hub を通じて100万以上の事前学習済みモデルチェックポイントにアクセス可能。
• フレームワーク間の互換性を備え、PyTorch、JAX、TF2.0間でモデルを移行可能。
• 推論タスクの迅速なデプロイを可能にする高レベルの Pipeline API。