선발도구의 신뢰도에 관한 설명으로 옳은 것은?

신뢰도는 같은 대상을 반복 측정했을 때 결과가 일관되게 나오는 정도를 말한다. 재려고 한 것을 제대로 재고 있는지는 타당도의 문제다.

보건행정과 의료관계법규 영역에서 ‘선발도구’는 인사관리 및 조직 운영의 핵심 절차입니다. 병원이 신규 직원을 채용하거나 승진 대상자를 평가할 때 사용하는 필기시험, 면접, 실기시험, 인성검사 등이 모두 선발도구에 해당합니다. 이러한 도구가 제 기능을 하려면 측정학적 속성(psychometric properties)이 충족되어야 하는데, 그중 가장 먼저 검토해야 할 개념이 신뢰도(reliability)입니다.

신뢰도의 정의

신뢰도는 측정도구가 산출하는 결과가 일관되게(consistent) 나오는 정도를 의미합니다. 동일한 지원자가 동일한 조건에서 같은 도구로 반복 측정되었을 때, 점수가 유사하게 재현된다면 그 도구는 신뢰도가 높다고 판단합니다. 예를 들어 어떤 병원이 구조화된 면접 문항을 개발하여 두 명의 면접관이 같은 지원자를 독립적으로 평가했을 때 점수가 거의 같다면, 이 면접도구는 평가자 간 신뢰도(inter-rater reliability)가 확보된 것입니다. 반대로 면접관에 따라 점수가 크게 달라진다면 신뢰도가 낮아 선발 결과를 신뢰하기 어렵습니다.

측정도구의 심리측정적 속성을 체계적으로 평가하는 COSMIN 방법론에서도 신뢰도는 타당도와 함께 도구의 질을 결정하는 핵심 영역으로 다루어집니다. 조현병 환자의 삶의 질 측정도구인 Lehman QOLI와 그 변형 도구들의 측정 속성을 평가한 체계적 문헌고찰에서도 신뢰도는 도구의 적절성을 판단하는 주요 기준으로 적용되었습니다 . 이는 비단 임상 평가도구뿐 아니라 인사선발 도구에도 동일하게 적용되는 원리입니다.

타당도와의 구분

보기 2번의 “재려는 것을 제대로 재는 정도”는 타당도(validity)의 정의입니다. 타당도는 측정도구가 측정하고자 하는 개념을 실제로 정확히 측정하는지를 묻습니다. 수술 후 급성 통증 평가도구의 측정 속성을 분석한 체계적 문헌고찰에서도 통증이라는 개념을 도구가 제대로 포착하는지가 타당도 평가의 핵심이었습니다 . 선발 상황에 적용하면, 간호사 채용 시험에서 임상 추론 능력을 평가하려고 만든 문항이 실제로 임상 추론 능력을 측정하는지가 타당도의 문제입니다. 신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아니지만, 신뢰도가 낮으면 타당도도 확보될 수 없습니다. 일관되지 않은 측정값으로는 올바른 개념을 측정했다고 주장할 수 없기 때문입니다.

선발도구 평가의 다른 기준들과의 구분

보기 3번의 “합격자의 업무성과가 높은 정도”는 선발도구의 예측 타당도(predictive validity) 또는 선발의 효용성(utility)에 가까운 개념입니다. 선발 점수가 높은 사람이 실제 입사 후 업무성과도 높은지를 보는 것은 타당도의 한 유형이지 신뢰도가 아닙니다. 보기 4번의 “지원자가 도구를 수용하는 정도”는 안면 타당도(face validity)나 절차 공정성 인식과 관련된 개념으로, 지원자가 시험 내용을 직무와 관련 있다고 느끼는지와 연결됩니다. 보기 5번의 “도구를 시행하는 비용의 정도”는 선발도구의 실용성(practicality) 또는 경제성에 해당합니다. 혈액투석 환자의 피로 평가도구를 검토한 연구에서도 도구 선택 시 측정 속성뿐 아니라 임상 적용 가능성과 현지화 필요성이 함께 고려되어야 한다고 지적한 바 있는데 , 이는 선발도구에서도 비용과 시행 용이성이 별도의 기준으로 검토되어야 함을 시사합니다.

국가시험 빈출 포인트

보건의료관계법규 및 보건행정 시험에서 신뢰도와 타당도는 짝을 이루어 출제되는 대표적인 개념입니다. 신뢰도는 ‘일관성(consistency)’, 타당도는 ‘정확성(accuracy)’이라는 핵심 단어로 연결해 기억하면 혼동을 피할 수 있습니다. 또한 신뢰도는 타당도의 필요조건이지만 충분조건은 아니라는 논리적 관계도 자주 묻습니다. 측정도구의 심리측정적 속성을 평가한 연구들에서 신뢰도와 타당도가 별개의 영역으로 구분되어 보고된다는 점은 이러한 구분이 실제 연구 설계에서도 동일하게 적용됨을 보여줍니다 .