회귀분석

최우추정법
: 이 정규분포를 아는 경우 사용한다.

우도함수 :
이 주어졌을 때 결합확률밀도함수 은 모수 의 함수로 생각할 수 있으며 이때 을 우도함수라 한다.
=
우도함수 를 최대로 크게 하는 와 을 구하는 방법으로서 다음 조건을 만족시킨다.
우도함수를 최대로 하는 , , 를 찾기 위하여 편의상 위의 식을 대수변환 하여 정리하면 다음과 같다.
따라서 위의 식을 , , 으로 각각 편미분한 식이 0이 되도록 해주는 , , 을 구하면 된다.
위의 식을 0이라 놓고 , , 각각의 추정량을 라 놓으면 위의 식은 다음과 같이 된다.
위의 식을 정리하면 최소자승법에서의 정규 방정식과 동일하게 된다. 따라서 최우추정량으로서의 는 최소자승추정량 과 동일하게 됨을 알 수 있다.
여기서 유의할 점은 최우 추정량 는 오차항 의 분포를 정규분포 라고 가정하여 얻어진 추정량이고 최소자승추정량 은 오차항에 대한 가정에 관계없이 얻어진 추정량이라는 점이다.

1.2 최소자승추정량과 적합된 회귀선의 특성

最良선형불편추정량이라 하면 모든 추정량 중에서 관측치들의 선형 결합으로 이루어진 추정량이어야 하고 불편성을 만족하며 그리고 최소분산을 갖는 추정…