이 문제는 측정 결과가 연속 변수일 때 신뢰도(reliability)를 어떤 통계로 표현하는지 묻습니다. 신뢰도는 같은 대상을 반복 측정하거나 여러 검사자가 측정했을 때 값이 얼마나 일관되게 나오는가를 뜻합니다. 관절가동범위(ROM)처럼 각도를 숫자로 재는 평가에서는 검사자 내·검사자 간·검사-재검사 신뢰도를 모두 ICC로 보고하는 것이 표준입니다.
보기 2번 급내상관계수(ICC)가 정답입니다. 단순 상관계수는 두 측정값이 같은 방향으로 움직이는지만 보기 때문에, 검사자 A가 항상 5도씩 크게 측정해도 상관은 높게 나올 수 있습니다. ICC는 값의 일치 정도, 즉 측정값 사이의 체계적 차이까지 반영합니다. 재현성(reproducibility)은 일반적으로 흔히 쓰는 피어슨 상관계수(r)보다 급내상관계수(ICC)로 정량화해야 한다고 건강 상태 측정 도구의 평가 전략을 정리한 논문이 있습니다.[1]
보기별 해설
1번: Cohen's kappa — 명목·서열 같은 범주형 판정의 일치도에 씁니다. 예를 들어 두 검사자가 '양성/음성'으로 판정한 결과의 일치를 볼 때입니다. 연속 변수에는 쓰지 않습니다.
3번: Cronbach's alpha — 설문이나 척도의 여러 문항이 같은 개념을 일관되게 재는지를 보는 내적 일관성 지표입니다. 반복 측정이나 검사자 간 일치가 아니라 문항 간 일관성을 본다는 점이 다릅니다.
4번: 카이제곱 검정 — 범주형 변수 사이의 연관성이나 비율 차이를 검정하는 방법이며 신뢰도 계수가 아닙니다.
5번: Mann-Whitney U test — 두 독립 집단의 순위를 비교하는 비모수 검정으로, 신뢰도와 무관합니다.
시험 포인트
자료 유형별로 정리하면 헷갈리지 않습니다. 연속 변수의 신뢰도는 ICC, 범주형 판정의 일치도는 kappa, 문항 간 일관성은 Cronbach's alpha입니다. ICC 해석 기준은 교재에 따라 다릅니다. 0.75 이상을 우수, 0.40 미만을 낮음으로 보는 기준도 있고, 최근에는 다른 기준을 쓰는 가이드도 있습니다. ICC에는 10가지 형태가 있고 형태마다 가정과 해석이 달라서 연구자는 사용한 형태를 명시해야 하며, 95% 신뢰구간을 기준으로 0.5 미만은 낮음, 0.5~0.75는 보통, 0.75~0.9는 좋음, 0.9 초과는 매우 좋음으로 해석하자는 가이드라인도 제시되어 있습니다.[2] 국가시험 문항에서는 해당 문제가 제시한 기준을 따르면 됩니다.
또한 ICC는 검사 조건에 따라 형태가 달라진다는 점을 기억해 두면 논문을 읽을 때 도움이 됩니다. 같은 검사자가 반복했는지, 여러 검사자 중 일부만 표본으로 뽑았는지에 따라 계산 모형이 달라지므로, 신뢰도 값을 인용할 때는 어떤 형태의 ICC인지 확인해야 합니다.
정리하면, 연속 변수로 측정한 값의 신뢰도를 분석하는 통계 방법은 보기 2번 급내상관계수(ICC)입니다.
참고 문헌 (논문 출처)
[1]
Reproducibility and responsiveness of health status measures. Statistics and strategies for evaluation.일반논문Deyo RA, Diehr P, Patrick DL (1991) · DOI: 10.1016/s0197-2456(05)80019-4
[2]
A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research.가이드라인Koo TK, Li MY (2016) · DOI: 10.1016/j.jcm.2016.02.012
물리치료 임상 실무 가이드임상 시나리오 (Clinical Scenario): 여러분이 새로운 균형 평가 도구의 신뢰도를 연구하는 물리치료사라고 가정해 볼게요. 뇌졸중 환자 20명을 대상으로 일주일 간격으로 두 번 같은 평가를 시행했습니다. 측정된 점수는 모두 연속적인 숫자(예: 0~56점)로 나왔어요. 이때 검사-재검사 신뢰도(Test-retest reliability)를 통계적으로 입증하려면 어떤 분석을 해야 할까요? 바로 ICC를 사용하는 거예요. 만약 점수를 '낮음, 중간, 높음'의 범주로만 기록했다면 Cohen's kappa를 써야 하는 상황입니다.물리치료 중재 전략 (Intervention Strategy): 평가 도구의 신뢰도를 검증하는 과정은 근거 중심 물리치료(EBPT)의 첫걸음입니다.
1평가 단계측정할 변수의 유형(연속/범주)을 명확히 하고, 표본 수를 확보합니다.
2분석 및 해석ICC(급내상관계수) 분석을 시행하고, 그 값이 0.75 이상인지 확인하여 임상에서 신뢰하고 사용할 수 있는 도구인지 판단합니다.
3임상 적용신뢰도가 낮다면(0.40 미만) 측정 방법을 표준화하거나 평가자 훈련을 강화해야 합니다.
환자 안전 및 주의사항 (Precautions): 통계 분석 자체가 환자에게 직접적인 위해를 가하지는 않지만, 신뢰도가 낮은 평가 도구를 사용하면 환자의 기능 변화를 과대평가하거나 과소평가하여 잘못된 치료 계획을 세울 위험이 있습니다. 예를 들어, 신뢰도가 낮은 균형 평가 도구로 '낙상 위험이 감소했다'고 잘못 판단하면, 환자에게 과도한 독립 보행을 허용하여 낙상 사고를 초래할 수 있어요. 따라서 임상에서는 반드시 신뢰도와 타당도가 검증된 도구를 사용해야 합니다.
선배 물리치료사의 한마디
"임상에서 '이 평가 도구 좀 써보니 괜찮던데?'라는 경험도 중요하지만, 그것이 진정한 근거는 될 수 없어요. 내가 사용하는 도구의 ICC가 0.90인지 0.50인지 아는 것은 그 측정 결과를 얼마나 신뢰할 수 있을지 결정하는 근거가 됩니다. 국시 문제를 풀 때도, 나중에 논문을 읽을 때도, '이 데이터가 연속형인가 범주형인가?'를 먼저 떠올리는 습관을 들이면 통계가 훨씬 쉬워질 거예요!"
급내상관계수(ICC, Intraclass Correlation Coefficient) — 연속 변수에 대한 반복 측정값 간의 일치도 및 상관관계를 평가하는 신뢰도 통계 방법입니다. 0.75 이상이면 높은 신뢰도로 판정합니다.
Cohen's kappa — 두 평가자 간 범주형 변수(명목 또는 서열 척도)에 대한 일치도를 평가하는 통계 방법입니다.
Cronbach's alpha — 설문지나 평가 척도에서 여러 문항이 동일한 구성 개념을 일관되게 측정하는지 평가하는 내적 일관성 신뢰도 계수입니다.
신뢰도 — 측정 도구나 방법이 반복 측정 시 일관된 결과를 산출하는 정도를 의미합니다. 평가 도구의 필수 조건 중 하나입니다.
연속 변수(Continuous variable) — 관절가동범위(ROM), 보행 속도, 키, 체중 등 연속적인 값을 가지는 데이터 유형으로, ICC 분석에 적합한 변수입니다.