신뢰도의 종류와 신뢰도에 영향을 주는 요인

 

검사도구의 타당성이 입증되었다면 신뢰도(reliability) 또한 고려되어야 한다. 저울을 예로 들어보자. 저울은 몸무게를 측정하기 위한 타당한 측정도구이지만, 모든 저울이 몸무게를 '정확하게' 측정할 수 있는 것은 아니다. 한 사물의 무게를 변함없이 일관성있게 측정하는 저울이 '신뢰로운' 저울이다. 검사도구도 마찬가지다. 검사도구로 측정을 할 때마다 결과가 안정적이고 일관성있게 나와야하는데 이를 '신뢰도'라고 한다.

 

 

신뢰도와 타당도

 

 

신뢰도 검증방법

신뢰도 검증방법에는 재검사신뢰도, 동형검사신뢰도, 문항내적일관성신뢰도, 반분검사신뢰도, 관찰자신뢰도가 있다.

 

 

재검사신뢰도

검사도구의 안정성을 측정하는 것으로, 동일한 대상, 동일한 측정도구를 두고 상이한 시간에 검사를 실시한다. 그렇게 얻은 두 검사점수의 상관계수를 측정하여 신뢰도를 추정하는 방법이다.

 

• 장점
  • 적용이 매우 간편하다.
  • 측정도구 자체를 직접 비교 가능하다.
• 단점
  • 시험간격 설정에 따라 상이한 결과가 나온다(ex. 검사요인, 성숙요인, 역사요인 등).
  • 동일한 검사환경을 다시 구성하기 어렵다.

 

 

동형검사신뢰도

대안법, 복수양식법, 평행양식법이라고도 한다. 유사검사신뢰도와 비슷하다. 두 개의 동형검사를 만들어 동일한 대상에게 실시하고, 이 때 얻은 두 검사점수의 상관계수로 신뢰도를 추정한다.

 

• 장점
  • 시험간격문제가 사라진다.
  • 신뢰도 계수를 추정하기 쉽다.
• 단점
  • 동형검사를 제작하기가 어렵다.
  • 동일한 검사환경을 만들기 어렵다.
  • 두 검사의 동형성에 따라서 결과가 상이해진다.

 

 

문항내적일관성신뢰도

한 번의 검사로 신뢰도를 추정하는 것으로, 문항 하나하나를 하나의 검사로 간주하여 문항 간 유사성과 일치성을 추정하는 방법이다. 문항 내적 일관성을 추정하는 방법으로 KR-20, Hoyt 신뢰도, Cronbach' α, Kuder-Richardson 등이 있다. 이 중 Cronbach' α가 흔히 사용되는데, 이분문항뿐 아니라 연속적으로 점수가 부여되는 문항들에도 신뢰도 추정이 가능하며, 신뢰도 계산 공식과 유도과정 및 개념이 보다 간단하기 때문이다.

 

• 장점
  • 시험간격의 문제가 사라진다.
  • 신뢰도 계수를 추정하기 쉽다.
  • 신뢰도를 저해하는 항목을 찾아내기 쉽다.
• 단점
  • 신뢰도를 과소추정하는 경향이 있다.

 

 

반분검사신뢰도

한 번의 검사로 신뢰도를 추정하는 방법으로, 한 번 실시한 검사를 두 부분으로 나누어 두 부분검사 점수의 상관계수를 계산한 후, Spearman-Brown 공식으로 추정한다.

 

• 장점
  • 한 번의 검사로 신뢰도 추정이 가능하다.
  • 시험간격 문제가 없고, 동형검사를 제작해야하는 문제도 없다.
  • 동등하지 않은 문장을 배제가능하다.
• 단점
  • 검사 양분방법에 따라 계수가 다르게 추정된다.
  • 측정문항이 적은 경우 사용이 불가하다.
  • 특정 항목의 신뢰도를 파악하기에는 한계가 있다.

 

 

관찰자신뢰도

관찰의 안정성을 기초로 한 신뢰도 측정방법이다. 한 사람의 관찰자가 반복관찰하여 관찰 결과의 상관관계를 파악하는 재검사적 관찰자 신뢰도(관찰자내 신뢰도)와 두 사람 이상의 관찰자가 관찰하여 관찰자간 결과를 점수로 산정하는 대안적 관찰자 신뢰도(관찰자간 신뢰도)로 나뉜다.

 

 

신뢰도에 영향을 주는 요인

검사도구의 신뢰도를 높이기 위해 신뢰도에 영향을 주는 요인을 숙지하고 있어야 한다. 신뢰도를 증가시키는 방법에는 여러가지가 있다. 체계적 분산을 극대화하여 독립변수가 종속변수에 미치는 영향을 극대화하며, 신뢰도와 타당도가 높은 측정도구를 사용하여 측정상의 오차를 최소화한다. 또한 외부변수를 효과적으로 통제하는 것이 좋다. 연구자는 집단의 특성을 잘 알아야 하고, 적절한 수준의 문항을 제작하여야 한다. 검사도구의 신뢰도에 영향을 주는 요인은 아래와 같다.

 

• 문항수: 적은 수의 문항보다 많은 수의 문항이 측정의 오차를 줄여준다.
• 난이도: 문항의 난이도가 적절할 때 신뢰도가 증가한다.
• 문항변별도: 문항이 변별력이 있고, 애매한 문장이 제외되면 신뢰도가 증가한다.
• 측정 내용: 검사도구의 측정 내용이 보다 구체적이고 세부적인 내용일 때 검사의 신뢰도가 증가한다.
• 검사 시간: 검사시간을 충분하게 주면 응담의 안정성을 보장받을 수 있다.
• 측정 상황: 측정 상황에 일관성을 유지하는 것이 좋다. 즉, 측정도구의 표준화, 통제성을 통해 최대한 동일한 조건 하에서 측정한다.
• 표본리스트: 최신의 표본리스트를 확보하여 검사를 진행하는 것이 좋다.
• 지시와 설명: 표준화된 지시와 설명을 위해 조사자에 대한 사전 훈련을 실시해야한다. 불분명한 지시나 설명은 오차분산을 크게 만들기 때문이다.

 

 

결론

신뢰도만 높인다고 해서 무조건 좋은 것은 아니다. 신뢰도가 높아도 앞서 학습한 타당도가 낮으면 적합한 검사라고 할 수 없다. 고로 연구자는 신뢰도와 타당도 모두를 고려하여 검사도구를 제작해야한다. 아래의 타당도 문서에서 타당도에 대한 학습도 같이 병행하는 것은 어떨까.

연구방법론에서의 타당도의 종류