프로그램 평가 지표의 해석
사업 참여율은 낮았지만 참여자의 치실 사용률이 크게 증가했다면, 이 사업은
도달 범위(reach)에서는 한계를 보였으나
행동 변화(behavioral outcome)에서는 긍정적 성과를 낸 것으로 해석할 수 있다. 참여율은 사업이 목표 집단에 얼마나 넓게 닿았는지를 보여주는 과정 지표이고, 치실 사용률 증가는 참여자 개인의 구강건강 행동이 실제로 바뀌었는지를 보여주는 결과 지표이므로 두 지표는 서로 다른 차원을 평가한다.
프로그램 평가에서 낮은 참여율은 사업의 확산 실패를 의미하지만, 참여자 내부의 행동 변화는 개입 효과를 의미하므로 둘을 혼동해서는 안 된다. 예를 들어 치실 사용을 촉진하는 동기화 영상 개입 연구에서도 대상자 모집 규모는 제한적이었으나, 개입에 노출된 참여자에게서 치실 사용 행동 변화가 관찰될 수 있음이 보고된 바 있다
[2]. 즉 참여한 사람에게는 효과가 있었지만, 그 효과를 받은 사람의 수 자체가 적었던 상황이다.
혼동 주의! 참여율과 행동 변화율은 모두 백분율로 표시되어 같은 종류의 지표처럼 보일 수 있으나, 전자는 사업의
외적 타당도(external validity)와 관련되고 후자는
개입 효과(intervention effect)와 관련된다. 참여율이 낮으면 전체 지역사회 수준의 효과는 제한적일 수밖에 없다.
치실 사용 행동은 지식만으로 쉽게 바뀌지 않으며, 연령이나 사회적 요인에 따라 사용 빈도가 달라질 수 있다
[3]. 따라서 참여자 집단에서 치실 사용률이 크게 증가했다는 것은 단순한 인식 개선을 넘어 실제 행동 변화가 일어났다는 점에서 의미 있는 성과로 볼 수 있다. 다만 치실 사용률은 자가 보고에 의존하는 경우가 많아 실제 술기나 효과를 과대평가할 가능성이 있다는 방법론적 한계도 고려해야 한다
[4].
| 구분 | 참여율(도달 범위) | 치실 사용률(행동 변화) |
|---|
| 평가 차원 | 과정 지표 | 결과 지표 |
| 의미 | 목표 집단 중 사업에 참여한 비율 | 참여자 중 행동이 개선된 비율 |
| 낮은 참여율의 해석 | 사업의 확산·접근성 부족 | 참여자 내부 효과와는 별개 |
| 본 사례의 판단 | 도달 범위 부족 | 참여자 행동성과 존재 |
따라서 이 사업은 전체 목표 집단에 대한 파급력은 부족했지만, 실제로 참여한 대상자에게는 치실 사용이라는 구강건강 행동을 변화시키는 데 성공한 것으로 해석하는 것이 적절하다. 장기 건강영향의 확정이나 사업비 적절성은 제시된 정보만으로 판단할 수 없으며, 참여율과 행동 변화를 같은 지표로 보는 것도 타당하지 않다
[2].
참고 문헌 (논문 출처)
- [2]
Effect of a motivational video on flossing behaviour: A pilot study.일반논문Özyemişci N, Turgut Çankaya Z (2021) · DOI: 10.1111/idh.12480
- [3]
Flossing behaviour in English adolescents.일반논문Macgregor ID, Balding JW, Regis D (1998) · DOI: 10.1111/j.1600-051x.1998.tb02443.x
- [4]
In Defense of Flossing: Can We Agree It's Premature to Claim Flossing is Ineffective to Prevent Dental Caries?일반논문Vernon LT, Seacat JD (2017) · DOI: 10.1016/j.jebdp.2017.03.008