교육 프로그램의 투입은 계획대로였고 10회 교육도 모두 시행됐지만 참여자 중 목표 칫솔질 행동을 보인 비율은 낮았다. 가장 우선 점검할 평가지표 조합은?

활동은 수행됐어도 참여자 도달과 전달 충실도, 교육 직후 행동성과가 연결되지 않을 수 있으므로 과정과 단기성과를 함께 본다.

프로그램 평가의 핵심: 투입-과정-산출의 연결 고리
문제의 상황은 프로그램이 계획대로 ‘투입(10회 교육 시행)’되었음에도 불구하고, 기대했던 ‘단기 산출(목표 칫솔질 행동 변화)’이 낮게 나타난 경우입니다. 이는 프로그램의 기획 및 실행 논리(logic model)에서 투입과 산출 사이의 ‘과정(process)’에 문제가 있을 가능성을 시사합니다. 따라서 단순히 교육을 몇 회 했는지(투입)나 예산을 얼마나 썼는지(집행률)만 평가하는 것을 넘어, 프로그램이 의도한 대상자에게 제대로 전달되었는지(도달률), 그리고 계획된 내용이 얼마나 충실히 수행되었는지(충실도)를 먼저 점검해야 합니다. 이러한 과정 평가 지표의 점검 없이 장기적인 구강질환 발생률 같은 결과 지표를 바로 평가하는 것은 성급한 판단입니다.

왜 ‘도달률’과 ‘충실도’를 먼저 점검해야 하는가
도달률(reach)은 교육 프로그램이 목표로 한 대상자에게 실제로 얼마나 노출되었는지를 나타냅니다. 예를 들어, 10회의 교육이 시행되었다고 해도, 정작 행동 변화가 필요한 고위험군 아동들이 결석하거나 교육에 집중하지 못했다면 도달률은 낮게 평가됩니다. 근거 자료^[2]의 학교 기반 영양 교육 프로그램 연구에서도, 프로그램의 효과를 평가하기 위해 교사와 학생의 관점에서 프로그램 전달 과정을 다각도로 평가하는 과정 평가(process evaluation)의 중요성을 강조합니다. 이는 단순한 참석률을 넘어, 참여자들이 교육 내용을 어떻게 받아들이고 인식하는지에 대한 질적 평가가 필요함을 시사합니다.

충실도(fidelity)는 교육이 계획된 매뉴얼이나 프로토콜대로 얼마나 정확하게 시행되었는지를 의미합니다. 근거 자료^[1]의 e-SEM 연구와 근거 자료의 RAISED In Yorkshire 연구 모두 이론 기반(theory-driven)의 복잡한 중재(complex intervention)를 설계하고 그 타당성을 검증하거나 타당성 시험(feasibility trial)을 수행합니다. 이러한 중재들은 특정 행동 변화 기법(예: 동기 강화, 목표 설정)이 정확한 순서와 방식으로 전달될 때 효과가 나타나도록 설계됩니다. 만약 교육자가 핵심 구성 요소를 생략하거나 변형하여 전달했다면, 즉 충실도가 낮았다면 교육 횟수와 무관하게 행동 변화라는 단기 성과는 낮을 수밖에 없습니다. 따라서 도달률과 충실도를 먼저 점검하여, ‘교육이 제대로 전달되지 않은 것인지’ 아니면 ‘제대로 전달되었음에도 효과가 없는 것인지’를 구분하는 것이 문제 해결의 첫걸음입니다.

오답 분석: 왜 다른 지표는 우선순위가 아닌가
2번(교육횟수와 예산집행률만)은 전형적인 투입(input) 중심 평가입니다. 예산을 다 쓰고 계획된 횟수를 채웠다는 사실만으로는 프로그램의 질이나 대상자와의 상호작용을 전혀 설명할 수 없습니다. 이는 과정을 블랙박스로 남겨두는 평가 방식입니다.
3번(장기 구강질환 발생률과 삶의 질)은 궁극적인 목표일 수 있으나, 단기 행동 변화조차 일어나지 않은 상황에서 장기 결과를 평가하는 것은 평가의 시간적 논리에 맞지 않습니다. 장기 결과는 수년에 걸쳐 나타나며, 당장의 프로그램 개선점을 찾는 데 도움이 되지 않습니다.
4번(대조지역의 인구구조와 의료이용률)은 프로그램의 효과를 외부 요인과 비교하는 데 유용할 수 있으나, 현재 문제는 프로그램 자체의 내적 실행 과정에 있으므로 우선순위에서 밀립니다.
5번(교육자 만족도와 시설가동률) 역시 과정 평가의 일부 요소이지만, 행동 변화라는 성과에 더 직접적인 영향을 미치는 것은 교육자보다 ‘참여자’에게 교육이 어떻게 도달하고 전달되었는지입니다. 따라서 참여자 중심의 도달률과 충실도가 더 우선적인 점검 지표입니다.