환자 만족도 설문 문항이 매번 같은 개념을 일관되게 측정하는 정도는?

신뢰도는 반복 측정에서 결과가 일관되게 나타나는 정도를 말한다.

환자 만족도 설문 문항이 매번 같은 개념을 일관되게 측정하는 정도는 신뢰도에 해당합니다. 측정도구의 심리계량적 속성(psychometric property)을 평가할 때, 신뢰도는 동일한 대상과 조건에서 반복 측정했을 때 결과가 얼마나 일관되고 안정적인지를 나타내는 지표입니다 ^[1][2].

신뢰도와 타당도의 구분
설문 문항이 측정하려는 개념을 정확히 측정했는지는 타당도의 영역입니다. 반면, 측정 결과가 반복해서 같게 나오는지, 즉 측정 오차가 적고 일관성이 높은지는 신뢰도의 영역입니다. 예를 들어, 환자 만족도 설문에서 ‘진료 대기 시간에 만족한다’는 문항이 실제로 만족도라는 개념을 잘 반영한다면 타당도가 높은 것이고, 같은 환자가 일주일 뒤 다시 응답했을 때 거의 같은 점수가 나온다면 신뢰도가 높은 것입니다. 타당도는 ‘무엇을 측정하는가’의 문제이고, 신뢰도는 ‘얼마나 일관되게 측정하는가’의 문제입니다. ^[1]

치위생 임상에서의 신뢰도 적용
치과 병·의원에서 환자 만족도 설문을 활용할 때, 동일한 설문지를 여러 환자군이나 시점에 적용해도 비슷한 결과가 나와야 정책 결정이나 서비스 개선의 근거로 사용할 수 있습니다. 만약 설문 문항이 매번 다른 결과를 낸다면, 즉 신뢰도가 낮다면 측정 오차가 커서 실제 만족도 변화인지 우연한 변동인지 구분하기 어렵습니다. 신뢰도가 확보되지 않은 도구로 측정한 결과는 임상적 의사결정의 근거로 삼기 어렵습니다. ^[2]

신뢰도 평가 방법
신뢰도는 검사-재검사 신뢰도(test-retest reliability), 내적 일치도(internal consistency), 평가자 간 신뢰도(inter-rater reliability) 등으로 평가합니다. 설문 문항이 같은 개념을 일관되게 측정하는 정도를 묻는 이 문제는 특히 내적 일치도와 검사-재검사 신뢰도의 개념에 해당합니다. 시간이 지나도 안정적으로 같은 결과가 나오는지 보는 검사-재검사 신뢰도는 환자 만족도처럼 시간에 따라 변할 수 있는 주관적 지표에서 중요합니다 ^[2].

혼동 주의! 민감도와 특이도는 진단 검사의 정확도를 평가하는 지표로, 질병이 있는 사람을 양성으로, 없는 사람을 음성으로 올바르게 판별하는 능력을 의미합니다. 설문 문항의 측정 일관성과는 전혀 다른 개념입니다. 대표도는 표본이 모집단을 얼마나 잘 반영하는지에 대한 표본추출의 개념으로, 측정도구의 속성이 아닙니다 .

구분	정의	평가 초점	예시
타당도	측정하려는 개념을 정확히 측정하는 정도	개념의 정확성	만족도 문항이 실제 만족도를 반영하는가
신뢰도	반복 측정 시 결과가 일관된 정도	측정의 안정성	같은 환자가 재응답 시 같은 점수가 나오는가
민감도	질병이 있는 사람을 양성으로 판정하는 비율	진단 검사의 정확성	치아우식 환자를 우식으로 진단하는 비율
특이도	질병이 없는 사람을 음성으로 판정하는 비율	진단 검사의 정확성	건전한 치아를 정상으로 판정하는 비율

환자 만족도 설문을 개발하거나 기존 도구를 임상에 도입할 때는 신뢰도와 타당도를 모두 검증해야 합니다. 신뢰도가 낮으면 타당도도 확보될 수 없지만, 신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아닙니다. 측정도구의 질은 신뢰도와 타당도가 함께 확보될 때 담보됩니다. ^[1]