딥러닝 자연어처리 Bert 설명 ppt

1. BERT

BERT는 Bidirectional Encoder Representations from Transformers의 약자로, 구글이 2xxx년에 발표한 혁신적인 자연어 처리 모델이다. BERT의 주요 특징은 텍스트의 양 방향을 동시에 고려하여 문맥을 이해하도록 설계된 것이며, 이는 전통적인 자연어 처리 모델들이 주로 단방향으로 문맥을 이해했던 것과 큰 차별점이다. 이 모델은 Transformer 아키텍처를 기반으로 하며, 양방향성 덕분에 각 단어의 의미를 상맥락에서 보다 잘 파악할 수 있다. BERT는 두 가지의 주요 학습 작업을 통해 사전 훈련된다. 첫 번째는 마스킹 언어 모델(Masked Language Model)이다. 이 작업에서는 입력 문장 내에서 무작위로 선택된 단어들이 마스킹되고, 모델은 이 마스킹된 단어를 예측하는 방식으로 학습한다. 예를 들어, `나는 [MASK]를 좋아한다`라는 문장에서 `사과`라는 단어를 예측하도록 모델이 훈련되는 것이다. 이 과정은 모델이 문맥을 이해하고 단어 간의 관계를 학습하는 데 중요한 역할을 한다. 두 번째 작업은 next sentence prediction(NSP)이다. 이 작업에서는 두 개의 문장이 주어지고, 첫 번째 문장 뒤에 두 번째 문장이 자연스럽게 이어지는지를 예측하도록 …