챗GPT 구동 원리 현 한계점 및 개선 방안 연구

챗GPT 구동 원리 현 한계점 및 개선 방안 연구

[목차]
1. 서론
1) 연구 배경 및 목적
2) 연구 범위 및 방법
2. 본론
1) 챗GPT의 기본 구동 원리
챗GPT의 기반이 되는 신경망 구조는 혁신적인 트랜스포머 아키텍처이다. 이 아키텍처는 기존 자연어 처리 모델인 순환 신경망 Recurrent Neural Network RNN 이나 합성곱 신경망 Convolutional Neural Network CNN 이 가졌던 여러 한계점을 극복하며 대규모 언어 모델의 발전을 가능하게 했다. 특히 순환 신경망은 단어를 순차적으로 처리하는 특성 때문에 문장이 길어질수록 앞선 정보가 희석되거나 사라지는 장거리 의존성 문제를 겪었으며 병렬 처리에도 어려움이 있었다. 트랜스포머는 이러한 문제를 해결하기 위해 고안되었으며 특히 어텐션 메커니즘을 통해 입력 시퀀스의 모든 단어 쌍 간의 관련성을 직접 계산하여 문맥 정보를 효과적으로 파악한다.

트랜스포머 아키텍처의 핵심은 바로 `어텐션 메커니즘`이다. 이 메커니즘은 문장 내의 각 단어가 다른 모든 단어와 얼마나 중요한 관계를 가지는지 집중적으로 분석한다. 예를 들어 `사과가 맛있다`라는 문장에서 `사과`와 `맛있다`의 관계를 파악…