다음 상황에서 문제가 되는 측정 속성은?

같은 검사자가 같은 대상을 반복 측정했을 때 결과가 일치하는 정도를 검사자내 신뢰도라 한다. 상태 변화가 없는데 값이 크게 달라졌다면 측정 절차의 일관성이 무너진 것으로 신뢰도의 문제이며, 타당도는 재려는 것을 제대로 재는가에 관한 개념이다.

검사자내 신뢰도 — 같은 사람이 재도 같은 값이 나오는가

측정 결과를 해석할 때 가장 먼저 확인할 것은 값이 믿을 만큼 일관되는지입니다. 이 문제는 같은 검사자가 같은 환자의 관절가동범위를 이틀 연속 쟀더니 90도와 120도로 크게 다르게 나왔고, 환자의 상태에는 변화가 없었다는 상황에서 어떤 측정 속성이 문제인지를 묻습니다.

정답은 보기 4번입니다. 같은 검사자가 같은 대상을 반복 측정했을 때 결과가 일치하는 정도를 검사자내 신뢰도(intra-rater reliability)라 합니다. 대상의 상태가 변하지 않았는데 30도나 차이가 난다면 측정 자체의 일관성이 무너진 것입니다. 시작 자세, 각도계 축 위치, 기준선 선정, 끝 범위를 판단하는 기준, 검사자가 주는 힘 같은 절차의 차이가 원인인 경우가 많습니다. 측정 도구의 신뢰도는 같은 검사자 안에서와 검사자 사이에서 급내상관계수(ICC)로 평가하고, 측정오차는 표준측정오차(SEM)와 최소 감지 변화량(MDC95)으로 나타냅니다.^[1] 이처럼 신뢰도는 숫자로 정량화하며, 임상에서는 오차보다 큰 변화여야 의미 있는 변화로 해석합니다.

보기별 해설

1번: 내용 타당도 — 측정 도구가 재려는 개념의 범위를 충분히 포괄하는지를 전문가가 판단하는 속성입니다. 같은 사람을 반복 쟀을 때의 불일치와는 관계가 없습니다.

2번: 준거 타당도 — 표준이 되는 기준(gold standard)과 얼마나 일치하는지를 보는 속성입니다. 기준 도구와의 비교가 아니라 반복 측정의 일관성이 문제입니다.

3번: 변화를 잡아내는 반응성 — 실제로 상태가 바뀌었을 때 그 변화를 포착하는 능력입니다. 이 문제는 상태가 바뀌지 않았는데 값이 변한 상황이므로 반대 방향의 문제입니다.

5번: 구성 타당도 — 측정 도구가 이론적 개념(구성)을 제대로 반영하는지를 보는 속성입니다. 반복 측정의 일치와는 별개입니다.

시험 포인트

타당도는 '재려는 것을 제대로 재는가', 신뢰도는 '재면 늘 같은 값이 나오는가'로 구분합니다. 신뢰도는 검사자내(같은 사람이 반복), 검사자간(다른 사람이 측정), 검사-재검사(시간을 두고 반복)로 나뉩니다. 이 문제처럼 '같은 검사자'와 '반복'이 보이면 검사자내 신뢰도, '검사자가 다르다'가 보이면 검사자간 신뢰도입니다.

임상에서 신뢰도를 높이려면 측정 자세, 각도계의 축과 팔 위치, 힘을 주는 정도를 표준화하고 같은 검사자가 같은 시간대에 재는 것이 좋습니다. 또 환자 상태가 같아도 오차가 생기므로 변화가 오차 범위를 넘을 때에만 치료 효과로 해석해야 합니다.

정리하면 상태 변화가 없는데 같은 검사자의 반복 측정값이 크게 달라진 것은 검사자내 신뢰도의 문제이며, 타당도와 반응성은 다른 질문에 답하는 속성입니다.