서포트 벡터 머신 SVM

1. SVM (Support Vector Machine)

서포트 벡터 머신(Support Vector Machine, SVM)은 지도 학습 알고리즘 중 하나로, 주로 분류 및 회귀 분석에 사용된다. SVM의 핵심 아이디어는 데이터를 분리할 수 있는 최적의 경계를 찾는 것이다. 이를 위해, SVM은 데이터 포인트가 서로 다른 클래스에 속하도록 하는 초평면(hyperplane)을 생성한다. 이 초평면은 고차원 공간에서 정의되며, 각 클래스의 데이터를 최대한 잘 구분하도록 한다. SVM은 이 초평면과 가장 가까운 데이터 포인트인 서포트 벡터(support vector)를 기준으로 학습을 진행한다. 서포트 벡터는 최적화 과정에서 중요한 역할을 하며, 이들 포인트가 변화하지 않는 한 초평면의 위치도 변하지 않는다. SVM은 선형 분리를 기반으로 하는데, 이는 데이터가 선형적으로 구분 가능할 때 유용하다. 하지만 현실 세계의 데이터는 대부분 비선형적이기 때문에, SVM은 커널 기법을 사용하여 비선형 문제를 해결한다. 커널 기법은 입력 데이터를 고차원으로 변환하여, 비선형적으로 구분되는 데이터를 선형적으로 구분할 수 있는 공간으로 매핑한다. 대표적인 커널 함수로는 다항식 커널, RBF(가우시안) 커널, 시그모이드 …