MLM (Masked Language Model)

BERT에서 사전학습은 MLM과 NSP를 통해 이뤄짐

MLM(Masked Language Model)입력문서 내 단어(토큰)의 15%가 [MASK]토큰으로 가려지고, 원래 단어를 추측하는 빈칸 채우기 (fill-in-the-blank)작업

NSP(Next Sentence Prediction): 두 개의 문장을 선택해서 그들이 원래 문장에서 (앞뒤로 놓인)연속적인 문장인지 아닌지를 예측하는 작업

BERT, ALBERT, DistilBERT 모델의 MLM 결과는 

비슷하다

https://github.com/jasonyim2/book3/blob/main/Transformers%2017-26.ipynb

book3/Transformers 17-26.ipynb at main · jasonyim2/book3