((강추자료A＋)) 이상치 결측값 오차 잔차 관련 통계오류 활용방안 - 이상치outliers, 극단치extreme value, 열외군, 결측값

1. 이상치와 극단치의 정의

이상치와 극단치는 데이터 분석에서 매우 중요한 개념이다. 이상치는 데이터셋 내에서 다른 관측값들과 현저히 차이가 나는 값으로, 일반적인 경향이나 패턴을 벗어난 값이다. 예를 들어, 학생 성적 데이터에서 대부분이 60점에서 90점 사이인 경우에, 10점이나 100점을 받은 값은 이상치에 해당될 수 있다. 통계적으로는 평균과 표준편차를 이용하여 이상치를 판별하는 방법이 흔히 쓰이며, 보통 평균보다 2배 또는 3배 이상 차이나는 값이 이상치로 간주된다. 극단치는 비록 이상치와 유사하지만, 엄밀히 말하면 이상치는 데이터 내에서 주변 값들과 비교했을 때 심하게 벗어난 값이고, 극단치는 분포의 꼬리와 같은 상황에 해당된다. 예를 들어, 소득 분포에서 대부분은 중위소득 범위인 3,000만 원 내에 집중되어 있으나, 10억 원 이상의 고소득자는 극단치로 분류될 수 있다. 또한 극단치는 정규분포에서 꼬리 부분에 위치하는 값이며, 데이터를 대표하는 통계값을 왜곡할 수 있다. 통계 자료를 보면, 어떤 기업의 매출 데이터에서 대부분 연간 매출이 10억 원 이하인 가운데, 1조 원 이상의 매출을 올린 기업은 극단치로 간주될 수 있으며…