VinAIResearch/PhoBERT

PhoBERT: Pre-trained language models for Vietnamese (EMNLP-2020 Findings)

何を解決するか

PhoBERTは、ベトナム語の理解において従来の単言語および多言語モデルの限界を克服する高パフォーマンスな事前学習済み言語モデルを、ベトナム語専用に設計しています。

仕組み

RoBERTaベースのアーキテクチャを使用してBERTの事前学習プロセスを最適化しています。モデルは、Wikipediaやニュース記事を含む大規模なベトナム語コーパス上で訓練されています。正確性を確保するため、モデルが処理する前に入力テキストは単語分割（VnCoreNLPなどのツールを使用）が必要です。

対象ユーザー

ベトナム語固有のアプリケーション（品詞タグ付け、依存解析、固有表現抽出、自然言語推論など）を開発するNLP研究者および開発者向けです。

特徴

  • 135M～370Mパラメータを持つ「base」および「large」バージョンを提供。
  • 複数の下流タスクにおいて、従来の単言語および多言語アプローチを上回る性能を発揮。
  • Hugging Face transformersライブラリおよび fairseq と互換性あり。
  • v2 baseモデルでは最大140GBのベトナム語テキストで事前学習済み。

関連

  • Dispatch
    mmBERT: ModernBERT が多言語化

    Hugging Face は、1,800 以上の言語で 3 兆トークン以上を学習した大規模多言語エンコーダモデル mmBERT を発表し、性能と推論速度の両面で XLM‑R を上回ります。

  • Dispatch
    TransformersとTokenizersを使用した言語モデルのスクラッチからのトレーニング

    Hugging Faceは、TransformersとTokenizersライブラリを使用して、新しい言語モデルをスクラッチからトレーニングする方法に関する包括的なガイドとデモンストレーションを提供しており、エスペラント語のためのEsperBERToの作成を特徴としています。

  • Dispatch
    Graphcore と Hugging Face が IPU 対応トランスフォーマーモデルを拡張

    Graphcore と Hugging Face は、Graphcore IPU 用に NLP、音声、コンピュータビジョンの分野で 10 の最適化されたトランスフォーマーモデルを含むように Hugging Face Optimum ライブラリを拡張しました。

  • プロジェクト
    lightonai/pylate

    ColBERT後期相互作用モデルの微調整、推論、検索を簡素化するライブラリで、高速インデキシングと柔軟なトレーニングオプションを提供します。

  • Dispatch
    Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models – Hugging Face Blog Summary

    Hugging Faceのブログ記事では、事前学習済みのBERT、RoBERTa、またはGPT2のチェックポイントを使用してエンコーダー・デコーダーモデルをウォームスタートする方法を説明しており、このアプローチがトレーニングコストを削減しながら、大規模な事前学習済みseq2seqモデルのパフォーマンスに匹敵することを示しています。