두 조사자가 같은 대상자의 치주상태를 판정했으나 결과 일치도가 낮았다. 본조사 전에 가장 적절한 조치는?

조사자 간 판정 차이가 크면 조작적 정의와 검사기준을 통일하고 반복 훈련·보정을 시행한 뒤 카파계수 등으로 일치도를 재평가해야 한다.

치주 탐침 시 출혈(bleeding on probing, BoP)이나 치아 동요도(tooth mobility)와 같은 치주 평가 지표는 객관적인 수치로 측정되는 탐침 깊이(probing depth)와 달리 검사자의 주관적 판단이 개입될 여지가 크다^[1]. 실제로 치과대학 학생들의 치주 평가 일치도를 분석한 연구에 따르면, 학생과 교육자 간의 기록 일치도가 낮은 주요 원인은 경험 부족과 판정 기준에 대한 해석 차이로 나타났다^[1]. 이는 본 문제에서 두 조사자 간 결과 일치도가 낮은 상황과 정확히 일치하는 현상이다.

이러한 불일치 문제를 해결하기 위한 가장 적절한 조치는 판정기준을 통일하고 훈련·보정 후 일치도를 재평가하는 것이다. 치주염 진단의 일관성을 평가한 연구에서도 2018년 치주질환 분류 체계를 적용할 때 수련의들 사이에서 병기(staging), 등급(grading), 범위(extent) 판정에 상당한 변동성이 관찰되었으며, 이는 표준화된 교육과 보정(calibration) 훈련의 필요성을 강하게 시사한다^[2]. 보정 과정은 조사자들이 동일한 임상 상황을 놓고 각자 판정한 후, 그 차이를 비교·논의하여 공통된 판정 기준을 내재화하는 절차를 포함한다.

보기 1, 3, 4, 5는 모두 연구의 타당도와 신뢰도를 심각하게 훼손하는 방법이다. 표본수를 줄이거나(보기 1) 불일치 항목을 삭제하는 것(보기 5)은 자료를 인위적으로 조작하는 행위이며, 한 조사자의 결과만 임의로 채택하는 것(보기 4)은 측정 편향(measurement bias)을 초래한다. 조사자별로 다른 기준을 유지하는 것(보기 3)은 체계적인 측정 오차를 발생시켜 수집된 데이터를 신뢰할 수 없게 만든다.

치주 평가의 정확도에 관한 연구에서는 학생들이 접근하기 어려운 구치부나 설측 부위에서 더 많은 측정 오류를 보였지만, 이러한 해부학적 요인 외에도 검사자 간 신뢰도(inter-examiner reliability)를 확보하는 것이 정확한 진단의 핵심 전제 조건임을 강조한다^[3]. 따라서 본조사에 앞서 두 조사자가 동일한 대상자에게 독립적으로 평가를 수행한 후, 불일치 항목에 대해 논의하고 판정 기준을 재정립하는 보정 훈련을 시행해야 한다. 이후 카파 계수(kappa coefficient)나 급내 상관 계수(intraclass correlation coefficient, ICC)와 같은 통계적 지표로 일치도가 수용 가능한 수준(일반적으로 0.8 이상)에 도달했음을 확인한 후 본조사를 진행하는 것이 올바른 연구 절차이다^[2].