mlwithme/BertWithPretrained

해결하는 문제

이 프로젝트는 BERT 모델의 완전한 PyTorch 구현을 제공하여 사용자가 아키텍처가 어떻게 스크래치에서 구축되는지 이해하고, 사전 학습된 가중치와 사용자 정의 학습을 통해 다양한 자연어 처리(NLP) 작업에 적용하는 방법을 배울 수 있도록 합니다.

작동 방식

프로젝트는 자기 주의 메커니즘(Transformer), 입력 임베딩, 구성 관리 등을 포함한 BERT의 핵심 아키텍처를 구현합니다. 이후 다양한 하류 작업을 위한 전용 헤드를 구축합니다. 주로 두 가지 모드를 지원합니다: bert-base-chinese 및 bert-base-uncased-english와 같은 사전 학습된 모델을 사용하여 미세 조정하거나, 다음 문장 예측(NSP) 및 마스크 언어 모델링(MLM) 작업을 사용하여 모델을 스크래치에서 학습합니다.

대상 사용자

BERT의 내부 동작 방식을 배우고 싶은 개발자 및 학생, 텍스트 분류, 질의 응답, 명명된 엔티티 인식과 같은 일반적인 NLP 작업을 구현해보고 싶은 사람들을 위한 것입니다.

주요 특징

• 스크래치 구현: BERT 모델과 그 기반인 Transformer 모듈의 완전한 구현을 포함합니다.
• 다양한 작업 지원: 단일 문장 분류, 쌍 문장 분류(MNLI), 다중 선택(SWAG), 질의 응답(SQuAD), 명명된 엔티티 인식(NER)을 위한 즉시 사용 가능한 코드를 제공합니다.
• 사전 학습 기능: NSP와 MLM 작업을 사용하여 BERT를 스크래치에서 학습할 수 있는 로직을 포함합니다.
• 다국어 지원: 영어와 중국어 텍스트 처리를 위한 데이터셋과 구성이 포함되어 있습니다.