핵심 정리 서로 다른 평가자가 같은 대상을 측정했을 때 결과가 일치하는 정도는 정답 ② 평가자 간 신뢰도입니다. 평가자가 달라도 같은 결론을 내리는가를 보는 개념입니다.
1. 원리와 배경 신뢰도는 일관성을 말하며 무엇이 달라져도 결과가 같아야 하는가에 따라 방법이 나뉩니다. 평가자가 바뀌어도 같아야 하는 경우가 평가자 간 신뢰도이고, 시간이 지나도 같아야 하는 경우가 검사-재검사 신뢰도이며, 같은 도구의 문항들이 같은 방향으로 움직여야 하는 경우가 내적 일관성입니다. 관찰이나 면접, 사정 도구처럼 평가자의 판단이 들어가는 도구에서는 평가자 간 일치도가 특히 중요하며 일치도는 일치율이나 카파 계수 같은 값으로 나타냅니다.
2. 정답 해설 정답 ② 평가자 간 신뢰도. 서로 다른 평가자, 동일 대상, 결과의 일치라는 세 요소가 평가자 간 신뢰도를 정의하는 조건과 같습니다.
3. 선지별 분석 ① 동형 검사 신뢰도는 내용이 같은 두 가지 형태의 검사를 같은 대상에게 시행해 점수가 일치하는지를 보는 방법입니다. 평가자가 바뀌는 것과는 관계가 없습니다. ③ 내적 일관성 신뢰도는 한 도구 안의 문항들이 같은 개념을 일관되게 재는지를 크론바흐 알파 등으로 확인합니다. 평가자가 아니라 문항 간 관계를 봅니다. ④ 검사-재검사 신뢰도는 같은 대상을 시간 간격을 두고 다시 측정해 안정성을 봅니다. 달라지는 요소가 시간입니다. ⑤ 내용 타당도는 신뢰도가 아니라 타당도의 한 종류로, 문항이 개념의 내용을 충분히 담고 있는지를 전문가가 판단합니다.
4. 평가자 간 신뢰도를 높이려면 평가자의 판단이 들어가는 도구는 평가자마다 기준을 다르게 읽는 순간 점수가 흔들립니다. 평가자 간 신뢰도를 높이려면 항목마다 평가 기준을 구체적으로 정의하고, 평가자에게 같은 교육을 하고, 사전에 몇 건을 함께 평가하며 차이를 조정하는 과정이 필요합니다. 결과는 범주형 판정이면 일치율이나 카파 계수, 연속 점수이면 급내상관계수 같은 값으로 나타내며 값이 클수록 일치도가 높다고 봅니다. 연구에서는 평가자를 한 명으로 고정하는 방법도 있으나, 임상에서는 여러 명이 쓰므로 일치도 점검이 필요합니다.
5. 기억 포인트 바뀌는 것이 평가자면 평가자 간, 시간이면 검사-재검사, 문항이면 내적 일관성으로 구분합니다.
6. 실무·국시 포인트 • 욕창이나 낙상 위험도구를 병동 간호사 여러 명이 사용할 때는 평가자 간 일치도를 확인해 점수 차이를 줄인다. • 관찰법 연구에서는 평가자를 훈련하고 평가자 간 신뢰도를 보고하는 형태가 잦다. • 신뢰도의 종류를 설명하는 문장을 보고 이름을 고르는 형태로 자주 변형된다.
상황병동 간호사 간 사정 점수의 차이
병동에서 같은 환자의 욕창 위험 점수를 서로 다른 간호사가 기록했더니 점수가 자주 달랐습니다.
• 같은 환자를 두 명의 간호사가 같은 시각에 각각 평가• 점수 항목 중 간호사마다 해석이 갈리는 항목이 있음
간호 순서• 사정: 두 간호사가 사용한 도구와 기준이 같은지, 어떤 항목에서 점수 차이가 나는지 확인합니다.• 수행: 항목별 평가 기준을 정리하고 공동 교육을 시행한 뒤 같은 환자를 다시 평가하게 합니다.• 평가: 재평가 점수가 간호사 사이에서 비슷해졌는지 일치도를 확인합니다.
핵심 포인트: 평가자가 달라도 결과가 일치하는 정도가 평가자 간 신뢰도입니다.
평가자 간 신뢰도 (Inter-rater reliability) — 서로 다른 평가자가 같은 대상을 측정했을 때 결과가 일치하는 정도이다.
검사-재검사 신뢰도 (Test-retest reliability) — 같은 대상을 시간 간격을 두고 다시 측정했을 때 결과가 일치하는 정도이다.
내적 일관성 (Internal consistency) — 도구 안의 문항들이 같은 개념을 일관되게 측정하는 정도이다.
동형 검사 (Parallel forms) — 내용과 난이도가 비슷한 두 형태의 검사로, 두 점수의 일치를 보는 신뢰도 방법에 쓰인다.