인공지능과 수학 (선형회귀분석, 무차별대입법, 경사하강법, 편미분, 기울기벡터)

1. 선형 회귀분석

선형 회귀분석은 통계학과 기계 학습에서 널리 사용되는 기법으로, 주어진 데이터로부터 특정 변수 간의 관계를 모델링하는 방법이다. 주로 예측 문제에서 활용되며, 하나의 독립 변수와 하나의 종속 변수 간의 선형 관계를 찾는 단순 선형 회귀와, 여러 개의 독립 변수를 사용해 종속 변수를 예측하는 다중 선형 회귀가 있다. 선형 회귀의 기본 가정은 종속 변수와 독립 변수 간의 관계가 선형이라는 것이다. 즉 직선의 방정식 y = mx + b 형태를 기반으로, y는 종속 변수, x는 독립 변수, m은 기울기, b는 절편을 나타낸다. 따라서 회귀분석의 목표는 주어진 데이터 포인트에 가장 적합한 직선을 찾는 것이다. 이는 최소 제곱법을 통해 이뤄진다. 즉, 각 데이터 포인트와 모델에서 예측하는 값의 차이인 오차의 제곱을 최소화하는 직선을 찾아 나가는 과정을 말한다. 데이터가 주어지면, 먼저 각 데이터 포인트의 오차를 계산하고, 이 오차를 제곱해서 총합을 구한다. 그런 다음 이 총합이 최소가 되는 기울기와 절편을 찾기 위해 수식을 설정하고 미분해 최적의 값을 구한다. 이 과정은 종속 변수가 독립 변수의 선형 조합으로 표현될 수 있다는 점에…