신뢰도의 개념과 측정및 향상방법

1. 신뢰도의 개념

2. 신뢰도의 측정

1) 재검사 신뢰도 : 안정성 계수

(1) 개념

① 재검사 신뢰도는 한 개의 평가도구 혹은 검사를 같은 집단에게 두 번 실시해서 그 전후의 결과에서 얻은 점수를 기초로 해서 상관계수를 산출하는 방법이다.

② 두 검사 점수 사이에 어느 정도의 안정성(일관성)이 있느냐를 보는 관점이기 때문에 안정성 계수라 한다.

① 전후 검사의 실시 간격을 어떻게 잡느냐에 따라 있을 수 있는 오차가 있다. 일반적으로는 그 간격을 짧게 잡으면 신뢰도는 높아지고 길게 잡으면 낮아진다. 실시간격은 대개 2~4주가 적정선이다.

② 평가도구 혹은 검사에 표본 되는 문항의 오차변량이 진짜 변량으로 다루어진다.

③ 전후의 검사 실시에서의 여러 가지 조건, 예컨대, 동기 상태, 수험태도, 검사지시, 검사시간(속도검사의 경우)등을 똑같이 통제하기 어렵다는 점이다.

④ 재검사 신뢰도에 의해 추정된 신뢰도는 진짜 신뢰도보다 과대 추정이 될 가능성이 많다.

2) 동형검사 신뢰도 : 동형성 계수

(1) 개념

① 동형검사 신뢰도는 미리 두 개의 동형검사를 제작하고, 그것을 같은 피험자에게 실시해서 두 동형 검사에서 얻은 점수 사이의 상관을 산출하는 방법이다.

② 동형검사는 두 개의 검사가 표면적, 외현적인 내용은 서로 다르지만, 측정이론으로 보아 동질적이 면 동일하다고 추정할 수 있는 문항으로 구성된 검사를 지칭한다.

① 두 검사는 동일 내용을 측정해야 한다. 즉, 문항의 동질성이 확보되어야 한다.

② 두 검사에서 문항 수, 문항난이도와 문항변별도가 동일해야 한다.

③ 이론적으로 동일한 수준의 문항으로 두 개의 검사를 구성하는데 어려움이 있다.

3) 반분 신뢰도 : 동질성 계수

(1) 개념

① 한 개의 평가도구를 한 집단에게 검사를 실시하고, 검사의 결과를 두 부분으로 분할한 뒤, 분할된 두 부분을 독립된 검사로 생각해서 그 사이의 상관을 계산하는 방법이다.

② 재검사 신뢰도가 부적당 할 때, 동형검사를 만들기가 어려울 때 쉽게 사용 하는 방법이다.

① 전후로 꼭 반이 되게 나누는 방법

② 기우법으로 나누는 방법

③ 난수표에 의해 두 부분으로 나누는 방법, 이것은 문항이 어떻게 선택되어도 무방한 경우에 사용.

④ 의식적으로 문항의 난이도 및 내용에 따라 비슷한 것끼리 짝지어 반문하는 방법이다.

4) 문항내적 합치도(쿠더 - 리챠드슨 방법) : 동질성 계수

① 피험자가 각 문항에 반응하는 일관성, 합치성에 그 기초를 두고 있다.

② 검사 속의 한 문항, 한 문항을 모두 독립된 한 개의 검사단위로 생각하고 그 합치도, 동일성, 일치 성을 종합하는 입장이다.

③ 신뢰도 계수가 높으려면 검사가 한 가지 특성과 능력만을 측정하는 동질적인 검사라야 한다.

④ 일반적으로 다른 신뢰도 계수에 비해 작은 값이 나타나기 때문에 한 검사의 최소한의 신뢰도라 고 볼 수 있다.

⑤ 이 신뢰도는 문항에 통과하면 1점, 실패하면 0으로 채점하는 경우에만 적용한다.

5) Cronbach α

① Kuder-Richardson 공식의 한계점을 덜기 위한 보다 일반적인 방법이다.

② 객관식 문항뿐만 아니라 논문형 문항에도 사용할 수 있으며, 가장 측정학적인 결함이 적은 신뢰 도 측정방법이다.

② 검사의 신뢰도 계수의 기초인 상관계수가 갖는 단점 및 Hoyt가 제안한 변량분석의 한계를 극복 하고 모든 제약으로부터 해방 시키는 방법으로 제안된 가장 측정학적 결함이 적은 방법이다.

3. 신뢰도를 높이는 방법

① 시험문항이 많으면 많을수록 신뢰도는 높다. 적은 수의 문항으로 인간이 지니고 있는 속성을 측정 할 때보다 많은 수의 문항으로 검사를 실시할 때 측정의 오차를 줄일 수 있다.

② 문항변별도가 높아야 한다. 문항은 잘하는 학생과 못하는 학생을 구분할 수 있는 변별력이 높아야 한다.

③ 시험시간이 충분히 주어져야 한다. 이는 문항 수와 관계되는 문제이기도 하다. 충분한 시간이 부여 될 때 응답의 안정성을 보장받을 수 있다. 그러므로 속도검사보다는 역량검