NielsRogge/Transformers-Tutorials

このプロジェクトについて

Transformers-Tutorials は、HuggingFace の Transformers ライブラリ の使用方法を示す実践的なデモノートブックのコレクションです。著者（Niels Rogge）は、BERT、GPT-2 などの背後にある技術である transformer モデルの操作方法を人々に教えるためにこれらのデモを作成しました。

含まれる内容

• さまざまなモデルのノートブック — 各デモは特定の transformer モデル（BERT、DETR、LayoutLM、Donut など）に焦点を当て、それを使って実行できる具体的なタスクを示しています。
• 幅広いタスク — デモは以下のようなものをカバーしています：
  • テキストの分類（例：映画レビュー、固有表現認識）
  • 画像の処理（例：物体検出、画像セグメンテーション、深度推定）
  • ドキュメントの理解（例：フォーム、領収書、Web ページの読み取り）
  • 画像や動画に関するキャプション生成や質問応答
  • 音声分類
• 2 種類の主なデモ — ほとんどのノートブックは、推論（事前学習済みモデルを使用して予測を行う）またはファインチューニング（カスタムデータセットでモデルをトレーニングする）のいずれかを示しています。
• ワンクリックセットアップ — すべてのデモには「Open In Colab」ボタンがあり、ローカルに何もインストールせずにブラウザで実行できます。

技術的な詳細

• すべてのデモは PyTorch（人気のある機械学習フレームワーク）で書かれています。
• このプロジェクトは、Transformers ライブラリ自体に加えて、Tokenizers、Datasets、Accelerate などの関連ツールを含む HuggingFace エコシステムに依存しています。
• README は、transformer アーキテクチャと関連ライブラリを説明する無料の HuggingFace コースへのリンクを初心者に提供しています。

対象読者

transformer モデルの実際の使用方法を学びたい人なら誰でも対象です。初心者でも、特定のモデルをカスタムタスク用にファインチューニングする方法を知りたい人でも構いません。ノートブックは、自分のプロジェクトに適応できる実用的で実行可能な例として機能します。

重要なポイント

これは学習リソースであり、ソフトウェアパッケージではありません。テキスト、ビジョン、オーディオ、ドキュメント理解にわたる HuggingFace の transformer モデルの実際の使用法を示す、成長し続けるサンプルノートブックのセットです。