구강보건사업의 투입 자원과 수행 활동이 계획대로 진행됐는지 확인하는 평가는?

과정평가는 인력·시간·교육 횟수 등 사업 활동이 계획대로 수행됐는지 점검한다.

구강보건사업 평가의 분류와 과정평가

구강보건사업은 ‘투입(input) → 과정(process) → 산출(output) → 결과(outcome)’의 연쇄 구조로 진행되며, 평가는 이 중 어느 단계에 초점을 맞추느냐에 따라 유형이 나뉜다. 문제에서 묻는 것은 투입 자원과 수행 활동이 계획대로 진행됐는지를 확인하는 평가이다. 이는 사업이 설계된 의도대로 ‘실행되고 있는지’를 모니터링하고 문서화하는 과정평가(process evaluation)의 정의에 해당한다 ^[1].

혼동 주의! 구조평가는 사업을 수행하기 위해 투입된 인력·시설·예산·장비 등 ‘자원의 구성’ 자체를 평가하는 것이고, 과정평가는 그 자원과 활동이 ‘계획대로 집행·수행되었는지’를 평가한다. 문제에서 ‘투입 자원과 수행 활동이 계획대로 진행됐는지’라고 물었으므로 자원의 존재 여부(구조)가 아니라 집행의 충실도(fidelity)를 보는 과정평가가 정답이다.

평가 유형	평가 초점	대표 질문
구조평가	사업 수행을 위한 자원의 투입·구성	인력, 예산, 시설, 장비가 갖추어졌는가
과정평가	계획된 활동의 실행 충실도·집행 과정	교육, 검진, 불소도포 등이 계획대로 시행되었는가
결과평가	사업의 단기적 성과·목표 달성	지식, 태도, 행동, 검진 수검률이 변화했는가
영향평가	사업의 장기적 효과·건강 수준 변화	구강질환 유병률, 삶의 질이 개선되었는가
경제성평가	투입 비용 대비 효과·효율	비용-효과, 비용-편익이 적절한가

과정평가의 핵심 개념은 실행 충실도(implementation fidelity, IF)이다. 충실도는 중재나 프로그램이 의도한 대로 전달된 정도를 의미하며, 프로그램의 무결성(integrity)을 평가하고 향후 확산 가능성을 판단하는 데 필수적이다 ^[2]. 충실도 평가의 일반적 틀에서는 충실도를 맥락(context), 내용(content), 역량(competence)의 세 차원으로 구분하고, 측정 방법으로 직접 관찰, 기록 검토, 관계자 질문을 제시한다 ^[3]. 구강보건사업에서도 학교 불소용액양치사업의 실시 횟수, 구강보건교육의 내용 전달 충실도, 검진 절차의 표준 준수 여부 등을 기록과 관찰로 확인하는 것이 과정평가에 해당한다.

과정평가가 중요한 이유는 복합 중재(complex intervention)의 결과는 실제 실행 방식에 크게 의존하기 때문이다. 청소년 선천성 심장병 전환 프로그램을 평가한 연구에서도 결과만 보는 것이 아니라 프로그램이 의도한 대로 전달되었는지, 즉 충실도 수준과 조절 요인을 평가하는 과정평가가 중추적(pivotal)이라고 강조하였다 ^[4]. 이는 구강보건사업에서도 동일하게 적용된다. 예를 들어 지역사회 노인 구강건강 프로그램의 효과가 낮게 나왔을 때, 결과평가만으로는 ‘프로그램 자체가 효과가 없는 것인지’ 아니면 ‘계획대로 실행되지 않은 것인지’를 구분할 수 없다. 핵심! 과정평가는 이 둘을 구분하여 결과 해석의 타당성을 높이고, 프로그램 개선과 확산의 근거를 제공한다 ^[1][2].

국가고시 관점에서는 평가 유형을 ‘무엇을 보는가’에 따라 정확히 구분하는 것이 중요하다. ‘계획대로 진행·수행’이라는 표현이 나오면 과정평가로 연결하고, ‘목표 달성·효과’는 결과평가, ‘비용 대비’는 경제성평가로 대응시키는 방식으로 정리하면 오답을 피할 수 있다.