프로그램 효과평가에서 비교 집단 간 기초 상태가 다를 때 단순히 종료 시점의 평균만 비교하면 개입의 순수한 효과를 추정할 수 없습니다. 시범구와 비시범구의 기초 우식률 차이는 선택 편의(selection bias)로 작용할 수 있으므로,
효과평가에서는 기초값의 차이를 통계적으로 통제하거나 기초값 대비 변화량을 비교하는 접근이 필요합니다.
기초값 불균형이 효과평가에 미치는 영향
지역사회 구강보건사업에서 시범구는 대개 우식 위험이 높은 지역이나 사업 참여 의지가 있는 학교를 대상으로 선정됩니다. 따라서 사업 전부터 시범구의 우식경험영구치지수(DMFT index)나 우식 유병률이 비시범구보다 높은 경우가 흔합니다. 이 상태에서 종료 시점의 평균 우식률만 비교하면, 시범구의 기초 위험도가 높았기 때문에 실제 개입 효과가 있음에도 효과가 과소평가되거나, 반대로 효과가 없는데도 유병률이 비슷해져 효과가 있는 것처럼 보이는 왜곡이 발생할 수 있습니다.
혼동 주의! 기초 우식률이 다른 두 집단을 단순 비교하는 것은 “출발선이 다른 달리기 선수의 결승선 기록만 비교하는 것”과 같습니다. 반드시 출발선 차이를 보정해야 합니다.
근거 자료에서 확인되는 분석 접근
제시된 근거 자료들은 모두 기초 상태를 반영한 분석 전략을 사용하고 있습니다. 둥관(Dongguan)의 대규모 학교 기반 치면열구전색 프로그램 평가 연구에서는
포아송 회귀분석(Poisson regression)과
선형확률모형(linear probability model)을 사용하면서 성별, 학년, 지역, 그리고
기초 구강 상태(baseline oral conditions)를 보정 변수로 포함했습니다. 이는 기초 우식 상태의 차이가 결과에 미치는 영향을 통계적으로 제거한 접근입니다.
서울 지역 학생 대상 지역사회 구강보건 프로그램 연구에서도
사전-사후 설계(pre-post design)를 통해 중재 전과 후의 구강건강 관련 삶의 질(OHRQoL) 변화를 측정했습니다. 이는 종료 시점의 절대적 수치보다
기초값 대비 변화량을 효과 지표로 삼은 방식입니다. 아이다호(Idaho)의 학교 기반 치면열전색 프로그램 평가에서도 12개월 후 전색제 유지율과 전색 치아의 우식 발생률을 추적 관찰하여, 기초 상태에서의 차이를 반영한 종단적 평가를 수행했습니다.
보기별 접근의 문제점
| 보기 | 접근 방식 | 문제점 |
|---|
| 1 | 종료시점 평균만 비교 | 기초 우식률 차이를 무시하여 선택 편의가 결과에 반영됨 |
| 2 | 시범구 성공사례만 비교 | 생존자 편의(survivorship bias)로 효과를 과대추정할 위험 |
| 3 | 기초값 반영 변화량 또는 보정분석 | 기초 불균형을 통제하여 개입의 순수 효과 추정 가능 |
| 4 | 사업 참여자만 분석 | 비교 집단이 없어 효과 크기를 산출할 수 없음 |
| 5 | 기초조사 제외 후 비교 | 기초 정보 손실로 변화량 산출이 불가능하며 편의가 증가함 |
핵심! 효과평가에서 가장 타당한 방법은
공분산분석(ANCOVA),
이중차분법(difference-in-differences), 또는 기초값을 공변량으로 포함한
다변량 회귀모형을 사용하는 것입니다. 국시에서는 “기초값이 다른 두 집단의 효과 비교”라는 조건이 제시되면, 단순 평균 비교가 아닌
변화량 비교 또는 기초값 보정 분석을 선택하는 것이 원칙임을 기억해야 합니다.