# 칫솔질 수행평가 체크리스트에서 평가자마다 점수가 크게 다르다. 우선 개선할 것은?

> source: MyMerci (mymerci.kr)  
> url: https://mymerci.kr/pages/nclex_q.php?qn_id=490639  
> language: ko  
> subject: 치위생학1

## 문제

칫솔질 수행평가 체크리스트에서 평가자마다 점수가 크게 다르다. 우선 개선할 것은?

## 보기

1. 행동기준을 구체화하고 평가자 훈련을 한다 **✔ 정답**
2. 문항 수만 늘린다
3. 평가자를 매번 바꾼다
4. 관찰을 중단하고 만족도만 조사한다
5. 점수를 임의로 평균낸다

**정답: 1**

## 해설

행동기준을 관찰 가능하게 정의하고 평가자 훈련·보정을 시행하면 평가자 간 신뢰도를 높일 수 있다.

## 심화 해설

평가 도구의 신뢰도와 객관성 확보

평가자 간 점수 차이가 크다는 것은 평가 도구의 신뢰도(reliability), 특히 평가자 간 신뢰도(inter-rater reliability)가 낮다는 것을 의미합니다. 이는 평가 결과의 일관성이 부족하여 학생의 실제 수행 능력을 제대로 반영하지 못하는 심각한 문제입니다.

왜 평가자마다 점수가 달라지는가

근본 원인은 평가 기준이 모호하고 주관적인 해석의 여지가 많기 때문입니다. 전통적인 '흝어보고 채점하는(glance-and-grade)' 방식은 평가자의 직관이나 개인적 성향에 의존하게 되어 점수 차이를 유발합니다 [2]. 치과 임상 술기 평가에서 이러한 주관성(subjectivity)과 일관성 없는 채점(inconsistent grading)은 오래된 문제로 지적되어 왔습니다 [2].

1번이 정답인 이유: 행동기준 구체화와 평가자 훈련

이 문제를 해결하기 위한 가장 효과적인 접근법은 평가 체크리스트의 객관성(objectivity)을 높이는 것입니다. 근거 자료들은 공통적으로 평가 도구 개발 시 구체적인 행동 기준을 수립하고 전문가 패널을 통한 내용 타당도 검증 과정을 거치는 것이 필수적임을 보여줍니다 [1].

먼저, 행동기준의 구체화는 각 평가 항목이 무엇을 의미하는지 명확하게 정의하는 작업입니다. 예를 들어, '칫솔질 각도가 적절하다'라는 모호한 항목 대신 '치아와 잇몸 경계부에 칫솔모를 45도 각도로 위치시키고, 2-3mm 진폭으로 진동시킨다'와 같이 관찰 가능한 구체적 행동으로 기술하는 것입니다. 근거 자료에서는 평가 항목을 요약하여 핵심 요점으로 만든 체크리스트 개발을 위해 수정 델파이 방법(modified Delphi method)을 사용했으며, 이 과정에서 7년 이상의 임상 경력을 가진 8명의 전문가를 섭외했습니다 [1]. 이는 단순히 경험에 의존하는 것이 아니라, 합의된 전문가 의견을 바탕으로 기준을 구조화했음을 의미합니다.

다음으로, 평가자 훈련은 구체화된 기준을 평가자들이 동일하게 해석하고 적용할 수 있도록 하는 과정입니다. 아무리 좋은 체크리스트라도 평가자가 기준을 다르게 이해하면 신뢰도는 떨어집니다. 평가자 훈련을 통해 평가자들은 체크리스트의 각 항목에 대한 공통된 이해를 갖게 되고, 채점 시 발생할 수 있는 개인적 편향을 줄일 수 있습니다. 이는 평가의 표준화(standardization)를 이루는 핵심 단계입니다. 근거 자료에서는 기준-가중치 기반 루브릭(criteria-weightage-based rubric)을 사용하여 평가의 객관성과 신뢰성을 높이고자 했으며, 이 루브릭 문서를 평가자들이 숙지하고 적용하는 훈련 과정이 전제되어야 합니다 [2].

다른 선택지가 부적절한 이유

- 2번 문항 수만 늘린다: 문항 수를 늘리는 것은 평가의 포괄성은 높일 수 있지만, 각 문항의 기준이 여전히 모호하다면 평가자 간 차이는 더욱 커질 수 있습니다. 신뢰도의 근본 문제는 양이 아니라 질, 즉 기준의 명확성에 있습니다.

- 3번 평가자를 매번 바꾼다: 평가자를 바꾸면 오히려 평가자 간 변동성이 더 커져 신뢰도가 더욱 낮아집니다. 이는 문제를 악화시키는 행위입니다.

- 4번 관찰을 중단하고 만족도만 조사한다: 수행평가의 본질은 실제 술기 능력을 관찰하여 측정하는 것입니다. 만족도는 주관적 인식일 뿐, 객관적 수행 능력과는 다른 차원의 정보이므로 대체할 수 없습니다.

- 5번 점수를 임의로 평균낸다: 통계적 조작으로 점수를 보정하는 것은 평가의 근본적인 타당도(validity)를 훼손합니다. 평가자 간 차이가 발생하는 원인을 해결하지 않고 숫자만 조정하는 행위로, 학생의 실제 능력을 왜곡합니다.

임상 및 교육 실무 적용

치위생학 교육에서 칫솔질 교육과 같은 술기 평가는 단순한 지식 확인이 아니라, 학생이 실제 임상에서 환자에게 적용할 수 있는 능력을 갖추었는지 확인하는 과정입니다. 따라서 평가 도구는 내용 타당도(content validity)와 평가자 간 신뢰도가 확보되어야 합니다. 근거 자료에서 소개된 Entrustable Professional Activities (EPAs) 개념은 역량 영역을 관찰 가능한 임상 과제로 전환하여 평가의 객관성을 높이는 좋은 예시입니다 . 칫솔질 수행평가 체크리스트 개발 시에도, 델파이 기법을 통해 임상 전문가들의 합의를 도출하여 구체적인 행동 지표를 만들고, 모든 평가자가 동일한 기준으로 훈련받는 체계를 구축하는 것이 평가의 공정성과 교육적 가치를 높이는 핵심 전략입니다.참고 문헌 (논문 출처)

- [1]Development and validation of a checklist for evaluating root canal treatment performance in Taiwan.일반논문Chang TH, Huang YC, Chang SH, Shih-Li Tsai S, Tsai YL. (2026) · DOI: 10.1016/j.jds.2025.10.035

- [2]Reliability of a Novel Grid-Based Dental Rubric as an Effective Assessment Tool for Evaluating Class II Tooth Preparations in Preclinical Settings.일반논문Bains R, Hirkani M, Iyer P, Bains VK, Singh N. (2026) · DOI: 10.7759/cureus.105921

## 임상 시나리오

칫솔질 평가 신뢰도 확보 프로토콜평가자 간 차이를 줄이는 행동기준 구체화 및 훈련 가이드
평가자 간 점수 차이가 크다면 평가자 간 신뢰도가 낮은 상태입니다. 가장 먼저 행동기준을 구체화해야 합니다. 예를 들어 '칫솔질 각도가 적절함' 대신 '치아와 잇몸 경계부에 칫솔모를 45도 각도로 위치시키고 2-3mm 진폭으로 진동시킨다'와 같이 관찰 가능한 행동으로 기술합니다.

구체화된 기준은 내용 타당도 검증을 거쳐야 합니다. 임상 경력 7년 이상의 전문가 8명으로 패널을 구성하고 수정 델파이 방법을 통해 합의된 핵심 요점을 체크리스트로 개발합니다.

체크리스트 완성 후에는 반드시 평가자 훈련을 시행합니다. 모든 평가자가 기준-가중치 기반 루브릭을 숙지하고 동일하게 해석하며 적용하는 훈련을 통해 평가의 표준화를 달성해야 합니다.

주의문항 수를 늘리거나 평가자를 자주 바꾸는 것은 근본 해결책이 아닙니다. 모호한 기준을 방치한 채 점수를 임의로 평균내면 평가 결과가 왜곡되므로, 기준 구체화와 훈련이 선행되어야 합니다.

## 핵심 개념

- **평가자 간 신뢰도** — 여러 평가자가 동일한 대상을 평가했을 때 점수가 일치하는 정도로, 평가 도구의 객관성을 나타내는 핵심 지표이다.
- **행동기준 구체화** — 모호한 평가 항목을 관찰 가능하고 측정 가능한 구체적인 행동 지표로 상세히 기술하여 해석의 여지를 줄이는 작업이다.
- **평가자 훈련** — 구체화된 평가 기준을 평가자들이 동일하게 이해하고 일관되게 적용하도록 교육하여 개인적 편향을 줄이는 표준화 과정이다.
- **수정 델파이 방법** — 전문가 패널을 대상으로 반복적인 설문과 피드백을 통해 특정 주제에 대한 합의된 의견을 도출하는 연구 방법이다.
- **기준-가중치 기반 루브릭** — 평가 항목별로 구체적인 수행 기준과 중요도에 따른 가중치를 부여한 채점표로, 평가의 객관성과 일관성을 높인다.

## 같은 주제 문제

- [두개골을 구성하는 뼈 중에서 뇌두개골이 아닌 안면두개골에 속하는 것은?](https://mymerci.kr/pages/nclex_q.php?qn_id=283569)
- [턱관절을 형성하는 뼈의 해부학적 구조물이 바르게 짝지어진 것은?](https://mymerci.kr/pages/nclex_q.php?qn_id=283570)
- [저작근 중에서 아래턱을 위로 당겨 입을 다물게 하며 뺨 부위에서 가장 강한 힘을 내는 근육은?](https://mymerci.kr/pages/nclex_q.php?qn_id=283571)
- [안면신경의 지배를 받으며 저작 시 뺨을 압박하여 음식물이 구강 전정으로 떨어지지 않게 돕는 근육은?](https://mymerci.kr/pages/nclex_q.php?qn_id=283572)
- [삼차신경의 세 번째 가지인 하악신경이 두개골을 빠져나오는 통로가 되는 구멍은?](https://mymerci.kr/pages/nclex_q.php?qn_id=283573)
- [타액선 중 가장 크기가 크며 맑고 묽은 장액성 타액만을 분비하는 곳은?](https://mymerci.kr/pages/nclex_q.php?qn_id=283574)
- [혀의 앞쪽 3분의 2 부위에서 미각을 감지하여 뇌로 전달하는 신경은?](https://mymerci.kr/pages/nclex_q.php?qn_id=283575)
- [아래턱뼈 내부로 신경과 혈관이 들어가는 통로인 하악관의 입구에 해당하는 뼈의 구조물은?](https://mymerci.kr/pages/nclex_q.php?qn_id=283576)

---

More free questions: [기출문제](https://mymerci.kr/)

_학습 참고용입니다. 실제 임상은 최신 지침과 소속 기관 프로토콜을 따르세요._