평가 오류의 분류
문제의 상황은 ‘다른 간호단위 관리자에 비해’ 항상 높게 평가한다는 점이 핵심입니다. 평가자가 가진 개인적 성향 때문에 점수가 실제 성과와 무관하게 일정한 방향으로 치우치는 것을 규칙적 오류(systemic error)라고 하며, 그중에서도 점수를 후하게 주는 쪽으로 치우치면 관대화 경향(leniency error)에 해당합니다. 반대로 거의 모든 피평가자에게 박한 점수를 주는 것은 가혹화 경향(severity error), 누구에게나 중간 점수만 주어 변별이 되지 않는 것은 중심화 경향(central tendency error)입니다.
혼동 주의!후광효과(halo effect)는 한 가지 인상이나 특정 영역의 평가가 다른 영역 평가까지 덮어쓰는 오류입니다. 예를 들어 성격이 좋다는 이유로 임상수행능력까지 높게 주는 경우입니다. 반면 관대화 경향은 평가 ‘영역’이 아니라 평가 ‘대상 전반’에 걸쳐 점수가 후하게 나가는 성향이므로, 문제처럼 ‘다른 평가자와 비교했을 때’ 점수 분포 자체가 높은 쪽으로 이동한 경우와 구분해야 합니다.
관대화 경향이 평가 신뢰도에 미치는 영향
관대화 경향은 단순히 점수가 후하다는 문제에 그치지 않고 평가 결과의 신뢰도(reliability)와 변별력(discriminability)을 떨어뜨립니다. 한 평가자가 대부분의 피평가자에게 최고점에 가까운 점수를 주면, 실제로 우수한 간호사와 평균적인 간호사의 차이가 점수에 반영되지 않습니다. 이는 평가 결과를 근거로 승진, 보수교육 배치, 역량 개발 계획을 세울 때 잘못된 판단으로 이어질 수 있습니다.
근거 자료에서도 평가자의 관대화 또는 가혹화 성향을 보정하지 않으면 평가 결과의 신뢰도가 낮아진다는 점이 반복적으로 확인됩니다. 마취과 전문의가 레지던트를 평가한 자료에서는 평가자별 관대화·가혹화 성향을 통계적으로 조정했을 때 평가의 신뢰도가 향상되었고[1], OSCE에서 의사소통 기술을 평가한 연구에서도 시험관에 따라 점수가 달라지는 평가자 간 변이(inter-rater variance)가 확인되었습니다[2]. 또한 동일한 평가자가 서로 다른 대상을 평가할 때도 관대화 성향이 일관되게 나타날 수 있어, 이는 특정 상황의 문제라기보다 평가자 고유의 반응 경향에 가깝습니다[3].
간호단위에서의 적용
간호관리자가 인사고과를 할 때 관대화 경향이 있으면, 평가 결과가 실제 임상수행능력과 분리됩니다. 예를 들어 신규간호사의 투약오류 보고 건수나 감염관리 수행률이 단위마다 다름에도 불구하고, 특정 관리자가 모든 직원에게 ‘우수’ 이상을 준다면 상위 부서와의 비교 자체가 무의미해집니다. 이 때문에 평가 도구를 구조화하고, 평가자 훈련을 통해 오류 가능성을 줄이며, 가능하면 여러 평가자의 점수를 함께 검토하는 절차가 필요합니다.
핵심!관대화 경향은 평가자가 ‘특정 피평가자’가 아니라 ‘전반적으로’ 후한 점수를 주는 성향이며, 이는 평가자 간 점수 차이를 만들어내는 대표적인 규칙적 오류입니다. 문제에서 ‘다른 간호단위 관리자에 비해 항상 높게’라는 표현은 특정 직원 한 명에 대한 편향이 아니라 평가자 자신의 점수 부여 경향을 가리키므로, 후광효과나 선입견 오류와는 구분됩니다.
참고 문헌 (논문 출처)
[1]
Adjusting for Resident Rater Leniency or Severity Improves the Reliability of Routine Resident Evaluations of Faculty Anesthesiologists.일반논문Dexter F, Vasilopoulos T, Fahy BG. (2025) · DOI: 10.7759/cureus.86366
[2]
Undesired variance due to examiner stringency/leniency effect in communication skill scores assessed in OSCEs.일반논문Harasym PH, Woloschuk W, Cunning L (2008) · DOI: 10.1007/s10459-007-9068-0
[3]
Association between leniency of anesthesiologists when evaluating certified registered nurse anesthetists and when evaluating didactic lectures.일반논문Dexter F, Ledolter J, Wong CA, Hindman BJ (2020) · DOI: 10.1007/s10729-020-09518-0
신규 간호사 근무성적 평가: 관대화 경향의 함정
김 간호관리자는 3개월간의 신규 간호사 교육 기간을 마친 신규 간호사 5명의 근무성적을 평가해야 합니다. 김 간호관리자는 신규 간호사들이 아직 배우는 단계이고, 혹시라도 낮은 점수를 주면 의기소침해질까 염려하는 마음이 컸습니다. 그래서 그는 모든 신규 간호사의 평가 항목에 대해 실제 수행 수준보다 한두 단계씩 높은 점수를 주는 경향을 보였습니다. 예를 들어, '정맥 주사 기술' 항목에서 아직 미숙한 부분이 있는 신규 간호사에게도 '보통'이 아닌 '우수'에 가까운 점수를 주거나, '환자 교육 능력'에서 개선이 필요한 신규 간호사에게도 '매우 잘함'으로 평가하는 식입니다.
이러한 김 간호관리자의 평가는 다른 간호단위 관리자들의 평가와 비교했을 때, 전반적으로 점수가 매우 높게 나타났습니다. 이로 인해 신규 간호사들은 자신의 실제 역량 수준을 정확히 인지하기 어려웠고, 어떤 부분을 더 보완해야 할지 명확한 피드백을 받지 못했습니다. 또한, 다음 교육 계획을 수립하는 데 있어서도 실제 부족한 부분을 파악하기 어려워 효과적인 맞춤형 교육 제공에 차질이 생겼습니다.
박 수간호사는 김 간호관리자의 평가 결과를 검토하던 중 이러한 일관된 '높은 점수' 경향을 발견했습니다. 박 수간호사는 김 간호관리자에게 "신규 간호사들이 아직 성장 단계에 있으니 격려하는 마음은 이해하지만, 모든 항목에서 일관되게 높은 점수를 주는 것은 '관대화 경향'이라는 평가 오류에 해당할 수 있습니다. 이는 신규 간호사들이 자신의 강점과 약점을 정확히 파악하고 성장하는 데 방해가 될 수 있습니다. 다음 평가 때는 객관적인 기준에 따라 공정하게 평가하고, 개선이 필요한 부분은 구체적인 피드백과 함께 제시해 주는 것이 중요합니다."라고 조언했습니다. 김 간호관리자는 자신의 평가 방식이 의도치 않게 평가 오류로 이어질 수 있음을 깨닫고, 다음 평가 시에는 보다 객관적인 기준을 적용하고 평가자 훈련을 통해 이러한 오류를 줄이겠다고 다짐했습니다.
근무성적 평가 / Performance Appraisal — 조직 구성원의 직무 수행 능력과 성과를 주기적으로 측정하고 평가하는 과정입니다. 이를 통해 개인의 역량 개발, 보상, 승진, 배치 등 인적 자원 관리의 중요한 의사결정 자료를 얻습니다. 간호관리에서는 간호사의 업무 성과를 객관적으로 평가하여 동기 부여, 역량 강화, 경력 개발에 기여하는 중요한 도구로 활용됩니다.
관대화 경향 / Leniency Error — 평가자가 피평가자에게 실제 수행 능력이나 성과보다 전반적으로 후한 점수를 주는 경향을 말합니다. 평가자가 피평가자와의 좋은 관계를 유지하고 싶거나, 갈등을 피하고 싶을 때, 혹은 평가 자체를 어렵게 느끼거나 귀찮아할 때 발생하기 쉽습니다. 이는 평가의 변별력을 떨어뜨리고, 실제 역량과 평가 결과 간의 괴리를 유발하여 공정성을 해칠 수 있습니다.
엄격화 경향 / Strictness Error — 평가자가 피평가자에게 실제 수행 능력이나 성과보다 전반적으로 박한 점수를 주는 경향을 말합니다. 평가자가 완벽주의적이거나, 피평가자에 대한 기대치가 지나치게 높을 때 발생할 수 있습니다. 이는 피평가자의 사기를 저하시키고, 불만을 초래할 수 있습니다.
중심화 경향 / Central Tendency Error — 평가자가 평가 항목에 대해 극단적인 점수(최고점 또는 최저점)를 피하고, 모든 피평가자에게 중간 점수만을 주는 경향을 말합니다. 이는 평가자가 평가에 대한 확신이 없거나, 책임 회피를 위해 발생하기 쉽습니다. 이 오류 역시 평가의 변별력을 상실하게 하여 실제 성과를 반영하지 못하게 합니다.
평가자 훈련 / Rater Training — 근무성적 평가의 정확성과 객관성을 높이기 위해 평가자에게 평가 기준, 평가 방법, 평가 오류의 종류 및 이를 피하는 방법 등을 교육하는 과정입니다. 평가자 훈련은 평가자의 주관적 판단을 최소화하고, 평가의 신뢰성과 타당성을 높이는 데 필수적입니다.