딥러닝 자연어처리 Transformer 트랜스포머 설명 ppt

1. Transformer

Transformer는 2xxx년 Vaswani et al. 에 의해 제안된 딥러닝 모델로, 자연어 처리 분야에서 혁신적인 변화를 가져왔다. 기존의 RNN(Recurrent Neural Network) 기반의 모델들이 시간 순서에 따라 데이터를 처리하는 방식과는 달리, Transformer는 완전히 새로운 아키텍처로 항목 간의 관계를 효과적으로 모델링한다. Transformer는 주로 Encoder-Decoder 구조로 이루어져 있으며, 각각의 컴포넌트가 다수의 층으로 쌓여 이루어진다. Transformer의 핵심 구성 요소는 셀프 어텐션 메커니즘이라는 고유한 접근 방식을 사용한다. 이 메커니즘은 입력 시퀀스의 모든 단어가 다른 모든 단어에 대해 가중치를 부여하고, 이들을 기반으로 각 단어의 표현을 향상시킨다. 셀프 어텐션은 단어 간의 관계를 포착할 수 있어 길고 복잡한 시퀀스에서도 정보의 흐름을 원활하게 한다. 즉, 각 단어가 문맥을 반영하여 최적의 표현을 생성할 수 있도록 돕는다. Transformer는 또한 다중 헤드 어텐션을 제공하여, 서로 다른 표현 공간에서 여러 개의 어텐션을 동시에 수행할 수 있다. 이는 모델이 단어들 간의 다양한 관계를 학습할 수 있도록 함으로써, 보다 풍부한 표현을…