회귀분석

회귀분석을 위한 기초학습
■ 회귀분석의 정의
회귀분석(regression analysis)은 19세기 프란시스 갈톤(Francis Galton)에 의해 개발되었는데 두 변수간의 인과관계를 통계적으로 추리해 내는데 사용된다. 회귀분석에 있어서 인과관계는 종속변수(dependent variable)라 불리는 하나의 변수가 독립변수(independent variable)라 불리는 또 다른 변수에 의해 어떻게 영향을 받는가 하는 관계를 설명해 준다. 회귀분석에서 사용되는 모형 중 가장 간단한 것은 다음과 같은 1차식 형태를 취한다.
y=a+bx
여기서 y는 종속변수이고 x는 독립변수이다. 일단 회귀식이 설정되면 과거자료을 이용하여 계수들을 추정하고 x의 새로운 값을 대입하여 미래의 예측치를 구한다. 독립변수가 1개일 경우를 단순회귀분석이라 하며 2개 이상일 경우를 다중회귀분석이라고 부른다.
■ 단순회귀분석에서의 회귀식 도출
회귀분석에서 a,b을 구하는 데 사용되는 대표적인 방법이 최소자승법(leat squar method)인데 이 방법은 실제 y의 값과 회귀식에서 추정되는 yi의 값의 차이을 최소로 하는 a와 b의 값을 구하는 방법이다. 이때 차이을 그냥 사용하면…(생략)

1. 전방선택법(forward selection) : 선택된 독립변수가 하나도 없는 상태에서 시작하여 선택되지 않은 변수 중에서 가종 좋은 변수를 하나씩 투입하는 방법이며 제일 좋은 변수란 아직 선택되지 않은 변수 중 모형에 포함될 경우 결정계수 값을 가장 큰 폭으로 향상시키는 변수.

2. 후방선택법 : 모든 독립션수을 포함시킨 상태에서 가장 열등한 변수를 하나씩 모형에서 제거시켜 나가는 방법. 가장 열등한 변수란 제외될 경우 결정계수값을 가장 작은 폭으로 감소시키는 변수.

3. 단계적 회귀분석법(stepwise regression) : 전방선택법과 유사하나 변수를 선택할 때마다 이미 모형에 포함되어 이쓴 변수 중에서 제거되더라도 별 지장이 없는 변수는 모형에서 제거. 전방선택법과 후방선택법의 혼용.