[보고서 24]Skip-gram방법에 대해

1. Skip-gram 개요

Skip-gram은 자연어 처리 분야에서 단어 간의 의미적 관계를 파악하기 위해 고안된 단어 임베딩 기법이다. 이 방법은 주변 단어를 통해 중심 단어를 예측하는 방식으로 작동하며, 주로 Word2Vec 모델의 한 구성 요소로 사용된다. Skip-gram은 입력 단어를 바탕으로 그 주변에 위치한 여러 개의 주변 단어들을 예측하는 구조를 갖는다. 이를 통해 단어들이 갖는 의미와 문맥 정보를 벡터 공간에 효율적으로 표현할 수 있다. 예를 들어, "고양이"라는 단어를 중심으로 할 때, 주변 단어인 "사료", "다리", "귀" 등을 예측하는 데 사용되며, 이 과정에서 유사 의미를 가진 단어들이 벡터 공간상에서 가까운 위치에 배치된다. 본질적으로 Skip-gram은 큰 규모의 코퍼스에 대해 학습할 때, 단어 간의 의미적 거리와 문맥적 유사성을 파악하는 데 강점을 갖는다. 특히, 구글이 개발한 Word2Vec은 2013년 발표 이후 자연어 처리 분야에서 널리 쓰이고 있으며, 수백만 개의 단어와 문장에서 학습 시 단어 간의 연관성을 90% 이상 정확도로 포착하는 성과를 보여주었다. 예를 들어, "king"과 "queen"…