머신러닝 알고리즘 정리 손필기 자료

1. 회귀분석

회귀분석은 통계학과 머신러닝에서 중요한 분석 기법 중 하나로, 주어진 데이터의 변수 간 관계를 모델링하고 예측하기 위해 사용된다. 기본적으로 회귀분석은 독립 변수와 종속 변수 간의 관계를 수학적으로 표현하는 방법이다. 주어진 데이터 세트를 통해 특정 독립 변수들이 종속 변수에 미치는 영향을 이해하고, 예측할 수 있는 함수 형태를 구성하는 것이 목표이다. 회귀분석의 가장 기본적인 형태인 선형 회귀는 독립 변수와 종속 변수 간의 관계가 직선으로 나타날 수 있다고 가정한다. 이를 수학적으로 표현하면 Y = β0 + β1X1 + β2X2 +. . + βnXn + ε 형태가 된다. 여기서 Y는 종속 변수, X는 각 독립 변수, β0는 절편, β1, β2,. . βn는 각 독립 변수에 대한 계수, ε는 오차 항을 의미한다. 이때 오차 항은 모델이 설명하지 못하는 부분으로, 데이터의 노이즈를 나타낸다. 회귀분석의 주요 목표는 이러한 β 계수들을 추정하는 것이다. 이를 위해 일반적으로 최소제곱법을 사용하여 관측값과 예측값 간의 차이를 최소화하는 방향으로 회귀 모델을 최적화한다. 최소제곱법은 각 관측값과 예측값 간의 차이의 제곱합을 최소화하는 방식으로, …