mlwithme/BertWithPretrained

解決的問題

本專案提供 BERT 模型的完整 PyTorch 實作，讓使用者能理解模型如何從零開始建構，並透過使用預訓練權重與自訂訓練，將模型應用於各種自然語言處理（NLP）任務。

運作方式

專案實作了 BERT 的核心架構，包含自我注意機制（Transformer）、輸入嵌入與設定管理。接著為不同下游任務建構專用的頭部。支援兩種主要模式：使用預訓練模型（如 bert-base-chinese 和 bert-base-uncased-english）進行微調，或使用下一句預測（NSP）與遮蔽語言建模（MLM）任務從零訓練模型。

適用對象

專為希望學習 BERT 內部運作原理，並練習實作常見 NLP 任務（如文字分類、問答、命名實體辨識）的開發者與學生設計。

主要特色

• 從零實作：包含 BERT 模型及其底層 Transformer 模組的完整實作。
• 多元任務支援：提供單句分類、雙句分類（MNLI）、多選題（SWAG）、問答（SQuAD）與命名實體辨識（NER）的即用程式碼。
• 預訓練能力：包含使用 NSP 與 MLM 任務從零訓練 BERT 的邏輯。
• 多語言支援：包含英文與中文文字處理的資料集與設定。