회귀분석

회귀분석을 위한 기초학습
■ 회귀분석의 정의
회귀분석(regression analysis)은 19세기 프란시스 갈톤(Francis Galton)에 의해 개발되었는데 두 변수간의 인과관계를 통계적으로 추리해 내는데 사용된다. 회귀분석에 있어서 인과관계는 종속변수(dependent variable)라 불리는 하나의 변수가 독립변수(independent variable)라 불리는 또 다른 변수에 의해 어떻게 영향을 받는가 하는 관계를 설명해 준다. 회귀분석에서 사용되는 모형 중 가장 간단한 것은 다음과 같은 1차식 형태를 취한다.
y=a+bx
여기서 y는 종속변수이고 x는 독립변수이다. 일단 회귀식이 설정되면 과거자료을 이용하여 계수들을 추정하고 x의 새로운 값을 대입하여 미래의 예측치를 구한다. 독립변수가 1개일 경우를 단순회귀분석이라 하며 2개 이상일 경우를 다중회귀분석이라고 부른다.
■ 단순회귀분석에서의 회귀식 도출
회귀분석에서 a,b을 구하는 데 사용되는 대표적인 방법이 최소자승법(leat squar method)인데 이 방법은 실제 y의 값과 회귀식에서 추정되는 yi의 값의 차이을 최소로 하는 a와 b의 값을 구하는 방법이다. 이때 차이을 그냥 사용하면 양의 편차와 음의 편차로 인해 상쇄효과가 발생하므로 차이(편차)의 제곱한 값을 사용한다. 일반적으로 n개의 자료가 있고 xm을 x자료의 평균이라고 할 경우
b = {Σxiyi-(n)(xm)(ym)}/{Σxi2-(n)(xm)2)}, a = ym-bxm
■ 단순회귀분석에서의 회귀식유의성 검정
추론한회귀식에 대한 유의성을 검정하기 위하여 변동의 변화을 회귀(독립변수)와 외생변수로 분리하여 분산분석표을 구한다. 일반적으로 회귀식에서는 독립변수의 자유도는 1이며 외생요…
■ 결정계수 (coefficient determination)
■ 회귀계수의 통계적 검정

1. 전방선택법(forward selection) : 선택된 독립변수가 하나도 없는 상태에서 시작하여 선택되지 않은 변수 중에서 가종 좋은 변수를 하나씩 투입하는 방법이며 제일 좋은 변수란 아직 선택되지 않은 변수 중 모형에 포함될 경우 결정계수 값을 가장 큰 폭으로 향상시키는 변수.

2. 후방선택법 : 모든 독립션수을 포함시킨 상태에서 가장 열등한 변수를 하나씩 모형에서 제거시켜 나가는 방법. 가장 열등한 변수란 제외될 경우 결정계수값을 가장 작은 폭으로 감소시키는 변수.

3. 단계적 회귀분석법(stepwise regression) : 전방선택법과 유사하나 변수를 선택할 때마다 이미 모형에 포함되어 이쓴 변수 중에서 제거되더라도 별 지장이 없는 변수는 모형에서 제거. 전방선택법과 후방선택법의 혼용.