칫솔질 수행평가 체크리스트에서 평가자마다 점수가 크게 다르다. 우선 개선할 것은?

행동기준을 관찰 가능하게 정의하고 평가자 훈련·보정을 시행하면 평가자 간 신뢰도를 높일 수 있다.

칫솔질 수행평가는 관찰 기반 임상 술기 평가의 전형적인 형태입니다. 평가자 간 점수 차이가 크게 발생하는 원인은 평가 항목 자체의 부족보다 평가자 간 신뢰도(inter-rater reliability)가 확보되지 않았기 때문일 가능성이 높습니다. 체크리스트의 각 항목이 무엇을 관찰해야 하는지 모호하면, 평가자마다 자신의 임상 경험이나 주관적 인상에 따라 점수를 부여하게 됩니다.

관찰 기반 임상 수행평가에서 점수의 일관성과 방어 가능성을 높이기 위해 평가자 훈련과 보정(calibration)이 널리 권장됩니다. 시뮬레이션 기반 관찰 임상 역량 평가(SOCCAs)를 대상으로 한 범위 문헌고찰에서도 평가자 훈련과 보정이 채점 일관성과 방어 가능성을 개선하기 위한 핵심 중재로 다루어지고 있습니다 ^[2]. 이는 칫솔질 수행평가처럼 구조화된 체크리스트를 사용하는 평가에서도 동일하게 적용되는 원리입니다.

또한 칫솔질 수행 자체가 개인 내에서 비교적 안정적인 습관성 운동 패턴을 보일 수 있다는 점도 고려해야 합니다 ^[1]. 즉, 평가 대상자의 수행이 크게 변하지 않는데 평가자마다 점수가 다르게 나온다면, 이는 측정 도구보다 평가자 요인에서 비롯된 오차일 가능성이 큽니다. 따라서 문항 수를 늘리거나 평가자를 자주 교체하는 것은 오히려 측정 오차를 증가시킬 수 있습니다.

혼동 주의! 문항 수 증가는 내용 타당도를 높일 수는 있지만, 평가자 간 신뢰도가 낮은 상태에서는 오차만 반복 확대할 뿐입니다. 핵심! 우선 각 문항의 행동 기준을 조작적으로 정의하고, 평가자들이 동일한 기준으로 관찰하도록 훈련과 보정 과정을 거친 뒤 점수를 산출해야 합니다. 평가자 훈련에는 예시 동영상을 활용한 기준 점수 합의, 평가자 간 토의, 주기적 재보정이 포함될 수 있습니다 ^[2].