프로그램 평가에서 ‘투입(input)은 계획대로, 산출(output)도 계획대로’ 확인되었는데 정작 성과(outcome)가 낮게 나타난 상황입니다. 이때 점검해야 할 것은 ‘우리가 의도한 대상에게, 의도한 내용이, 의도한 강도로 전달되었는가’를 보여주는 과정(process) 지표입니다. 보기 3번의 도달률(reach)과 충실도(fidelity)가 여기에 해당합니다.
프로그램 평가의 논리 모형과 지표 구분
지역사회 구강보건교육 프로그램은
투입(input) →
과정·산출(process/output) →
단기 성과(short-term outcome) →
장기 성과(long-term outcome)의 흐름으로 평가합니다. 문제에서 ‘10회 교육 모두 시행’은 산출(output)이 충족된 것이고, ‘목표 칫솔질 행동 비율이 낮음’은 단기 행동성과가 낮은 것입니다. 산출은 달성했는데 성과가 낮다면 그 사이를 잇는
과정 지표인 도달률과 충실도를 먼저 확인해 단절 지점을 찾는 것이 평가의 우선순위입니다.
도달률과 충실도가 먼저 점검되어야 하는 이유
도달률(reach)은 교육 대상자 중 실제로 프로그램에 참여한 비율을 의미합니다. 교육을 10회 시행했더라도 정작 행동 변화가 필요한 고위험군이나 목표 대상자가 빠지고, 이미 구강건강 관심도가 높은 사람들만 참여했다면 전체 참여자의 행동 변화율은 낮게 나타날 수 있습니다.
충실도(fidelity)는 계획된 교육 내용과 방법이 현장에서 의도대로 전달되었는지를 나타냅니다. 교육 횟수만 채워졌을 뿐 핵심 메시지가 누락되거나, 시범·실습 없이 이론 강의로 대체되거나, 교육자마다 내용 편차가 컸다면 행동 변화로 이어지기 어렵습니다.
근거 자료
[1]은 지역사회 구강보건 프로그램에서
전달 충실도(delivery fidelity)와 측정의 표준화가 부족하면 프로그램의 효과성과 재현성이 제한된다고 지적합니다. 교육 횟수나 예산 집행 같은 투입·산출 지표만으로는 프로그램이 실제로 어떻게 전달되었는지 알 수 없으며, 성과가 낮은 원인을 진단할 수 없습니다. 따라서 산출은 달성했으나 단기 행동성과가 낮은 상황에서는 도달률과 충실도를 우선 점검하는 것이 타당합니다.
오답 지표가 부적절한 이유
| 보기 | 지표 | 평가 단계 | 부적절한 이유 |
|---|
| 1 | 교육횟수, 예산집행률 | 투입·산출 | 이미 계획대로 시행되었음이 확인된 지표로, 성과 부진의 원인을 설명하지 못함 |
| 2 | 장기 구강질환 발생률, 삶의 질 | 장기 성과 | 단기 행동 변화가 낮은 시점에서 장기 질병 발생률을 먼저 평가하는 것은 시기상 부적절함 |
| 4 | 대조지역 인구구조, 의료이용률 | 외부 요인 | 프로그램 내부의 전달 과정 문제를 진단하는 지표가 아님 |
| 5 | 교육자 만족도, 시설가동률 | 투입·산출 | 교육 제공자 측면의 지표로, 참여자의 행동 변화 실패 원인을 직접 설명하지 못함 |
PRECEDE-PROCEED 모형의 평가 관점
근거 자료
[3]에서 소개된
PRECEDE-PROCEED 모형(PPM)은 프로그램을 계획(planning)과 평가(evaluation)의 두 축으로 구성합니다. 이 모형에서 과정 평가(process evaluation)는 프로그램이 계획대로 전달되고 있는지를 확인하는 단계로, 여기에 도달률과 충실도가 포함됩니다.
PPM은 원하는 최종 결과에서부터 거꾸로 논리적으로 계획하도록 유도하므로, 성과가 낮을 때도 그 논리 경로를 따라 어느 단계가 끊어졌는지 추적하게 합니다. 교육 시행 횟수(산출)는 충족되었지만 행동 변화(단기 성과)가 낮다면, 그 사이의 과정 평가 지표가 첫 점검 대상이 되는 것이 이 모형의 논리와도 일치합니다.
단기 행동성과와의 연결 해석
근거 자료 는 건강신념모델 기반 디지털 교육이 어머니의 구강건강 행동에 미친 효과를 평가한 연구로, 교육 프로그램 평가에서
행동 변화(behavior change)를 단기 성과로 설정하고 있습니다. 문제의 ‘목표 칫솔질 행동을 보인 비율’도 동일한 성격의 지표입니다. 근거 자료 의 메타분석은 구강보건교육 프로그램이 지식 향상과 행동 채택에 효과적일 수 있음을 보여주지만, 그 효과는 프로그램이 대상자에게 제대로 도달하고 충실히 전달되었을 때를 전제로 합니다. 따라서 행동성과가 낮게 나왔다면 효과 크기의 문제를 논하기 전에
도달률과 충실도라는 과정 지표로 ‘전달 경로의 실패’를 배제하는 것이 해석의 첫 단계입니다.
혼동 주의! 교육횟수나 예산집행률은 ‘산출(output)’ 지표로, 프로그램이 계획대로 시행되었는지만 보여줍니다. 성과가 낮은 원인을 진단하려면 ‘어떻게 전달되었는가’를 보는 과정(process) 지표가 필요합니다.
핵심! 산출은 달성했으나 단기 성과가 낮은 경우, 평가의 우선순위는 도달률과 충실도를 확인해 전달 경로의 단절 지점을 찾는 것입니다.
참고 문헌 (논문 출처)
- [1]
Preventive Oral-Health Standardization, Program-Evaluation and Replication Toolkit (PROSPER-OH): A Standardized, Non-clinical Toolkit for Adapting, Implementing, and Evaluating Community Preventive Oral-Health Programs in Underserved Settings.일반논문Olimpio da Paz A. (2026) · DOI: 10.7759/cureus.113738
- [3]
What is a planning model? An introduction to PRECEDE-PROCEED.일반논문Crosby R, Noar SM (2011) · DOI: 10.1111/j.1752-7325.2011.00235.x