사업 전후 개선됐지만 대조지역도 같은 폭으로 개선됐다. 해석은?

동시 변화는 공통 외부요인의 영향을 시사한다.

사업 전후 비교에서 사업군과 대조지역이 동일한 폭으로 개선되었다면, 사업군에서 관찰된 변화가 해당 사업의 고유한 효과 때문이라고 단정하기 어렵습니다. 두 집단이 같은 방향과 크기로 변했다는 것은 두 지역에 공통으로 작용한 외부 요인이나 시간 경과에 따른 자연 변화가 개선의 주된 원인일 가능성을 시사합니다.

이는 지역사회 기반 중재연구나 프로그램 평가에서 대조군(대조지역)을 두는 핵심 이유와 연결됩니다. 대조지역은 사업 외에 동일 기간 동안 발생하는 사회경제적 변화, 정책 변동, 계절성, 측정 도구의 변화, 회귀평균(regression to the mean) 등 외부 시간 효과를 통제하기 위한 기준선 역할을 합니다. 만약 사업군만 개선되고 대조지역은 변화가 없다면 사업 효과를 강하게 주장할 수 있지만, 두 집단이 같은 폭으로 개선된 경우에는 사업군의 절대적 변화만으로 인과성을 확정할 수 없습니다.

이러한 해석 원리는 무작위 대조군 설계에서도 동일하게 적용됩니다. 예를 들어 공원 기반 지역사회 아웃리치가 아동의 신체활동에 미친 영향을 평가한 군집 무작위 대조시험(RCT)에서도 중재군과 대조군의 변화 차이를 비교하는 방식으로 효과를 판정합니다. 중재군에서 중등도 이상 신체활동(MVPA)이 증가하더라도 대조군에서도 유사한 증가가 나타난다면, 그 증가는 중재보다는 측정 기간 중의 일반적 경향이나 다른 외부 요인에 의한 것일 수 있습니다 ^[1]. 따라서 핵심! 프로그램 평가에서 중요한 지표는 ‘사업군의 전후 차이’가 아니라 ‘사업군 변화량 - 대조군 변화량’, 즉 순효과(net effect)입니다.

유사한 해석의 사례는 수돗물 불소농도조정 중단이 아동 치아우식에 미친 영향을 분석한 후향적 연구에서도 확인됩니다. 이 연구는 불소화 중단이라는 자연실험 상황에서 시간 경과에 따른 우식 경험 변화를 불소화 지역과 비불소화 지역으로 나누어 비교했습니다. 만약 두 지역 모두 우식 경험이 같은 폭으로 증가했다면, 그 증가는 불소화 중단보다는 식습관 변화, 치과 접근성, 측정 기준 변화 같은 공통 외부 요인에 기인했을 가능성이 큽니다 ^[2]. 지역 간 차이를 비교하지 않고 한 지역의 전후 변화만 보면 잘못된 결론에 도달할 수 있습니다.

또한 당뇨병 질환관리 프로그램의 효과를 평가한 연구에서도 2000년과 2006년의 당뇨병 관리 과정 및 결과 지표가 전반적으로 개선되었지만, 이러한 개선이 프로그램 자체 때문인지, 아니면 같은 기간 동안의 의료 기술 발전, 지침 변화, 전반적 건강 인식 향상 등 시간 효과(secular trend) 때문인지는 단면 비교만으로 분리하기 어렵습니다 ^[3]. 이는 전후 비교만으로는 사업 고유 효과와 외부 변화를 분리할 수 없다는 한계를 보여줍니다.

취약 집단을 대상으로 한 지역사회건강종사자(CHW) 주도 중재의 효과를 평가한 메타분석에서도 개별 연구의 효과 크기를 통합할 때 중재군과 대조군 간 차이를 산출합니다. 만약 어떤 연구에서 중재군과 대조군 모두 심혈관대사 지표가 비슷하게 호전되었다면, 해당 연구의 효과 크기는 0에 가까워지며 이는 중재의 추가적 이득이 크지 않음을 의미합니다 ^[4]. 대조군을 포함한 설계와 군 간 차이 분석이 없으면 이러한 판단 자체가 불가능합니다.

혼동 주의! ‘사업 전후로 유의하게 개선되었다’는 통계 결과만 보고 사업이 효과적이라고 결론 내리는 오류를 범하기 쉽습니다. 그러나 대조지역도 같은 폭으로 개선되었다면 이는 사업 외 시간 효과(secular trend)나 외부 요인이 개선에 기여했을 가능성을 강하게 시사하므로, 사업의 순효과는 작거나 없을 수 있습니다. 따라서 정답은 5번이며, 보기 1·3·4처럼 사업군의 절대 변화나 전후 차이만으로 인과성을 확정하거나 성과로 삼는 해석은 타당하지 않습니다. 대조지역이 같은 폭으로 변했다는 사실 자체가 대조지역 설정이 불필요했다는 근거가 아니라 오히려 필수였음을 보여주므로 보기 2도 적절하지 않습니다.