국민건강증진사업에서 구강건강교육을 평가하려 한다. 과정평가 지표로 가장 적절한 것은?

과정평가는 사업이 계획대로 수행됐는지를 확인한다. 실시 횟수와 참여율은 과정지표이고 장기 질병 변화는 결과 또는 영향평가에 가깝다.

구강건강교육을 포함한 지역사회 구강보건 프로그램을 평가할 때는 구조(structure), 과정(process), 결과(outcome)의 3차원 평가 틀이 적용됩니다. 치과병원 외래 의료서비스 질 평가 체계를 개발한 연구에서도 현재 평가가 결과 지표에 과도하게 의존하고 구조·과정 차원을 간과하는 문제를 지적하며, 균형 잡힌 평가를 위해 구조-과정-결과 차원을 모두 포함하는 지표 체계가 필요하다고 제시했습니다 ^[4]. 이 문제는 국민건강증진사업에서 시행한 구강건강교육의 과정평가(process evaluation) 지표를 고르는 문항으로, 교육 활동이 계획대로 충실히 수행되었는지를 측정하는 항목이 정답이 됩니다.

과정평가의 개념과 정답 지표

과정평가는 프로그램이 의도한 대로 실행되고 있는지를 확인하는 평가입니다. 교육 횟수, 참여자 수, 교육 시간, 교육 내용의 충실도, 대상자의 참여율 등이 대표적인 과정 지표에 해당합니다. 보기 1번의 “계획한 교육 횟수 중 실제 실시한 횟수”는 교육 프로그램의 실행 충실도(fidelity)와 이행 정도를 직접 측정하는 전형적인 과정평가 지표입니다. 지역사회 구강보건 프로그램의 표준화·평가 도구를 개발한 연구에서도 delivery fidelity(제공 충실도)와 측정의 표준화가 프로그램 평가의 핵심 요소로 강조되었습니다 ^[1]. 계획 대비 실제 실시 횟수를 확인하는 것은 교육이 설계된 대로 전달되었는지를 평가하는 가장 기본적인 과정 지표입니다.

오답 지표의 구분

보기 2번부터 5번까지는 모두 결과평가(outcome evaluation) 또는 영향평가(impact evaluation)에 해당하는 지표입니다. 결과평가는 프로그램의 효과가 대상자의 건강 상태나 행동, 나아가 지역사회 건강 수준에 실제로 나타났는지를 측정합니다.

구분	보기	평가 차원	특징
1번	계획한 교육 횟수 중 실제 실시한 횟수	과정평가	교육 실행 여부와 충실도 측정
2번	교육 5년 후 치아상실률 변화	결과평가	장기적 구강건강 결과 지표
3번	지역의 기대수명 변화	영향평가	광범위한 건강 수준 지표
4번	대상자의 평생 의료비 변화	영향평가	경제적·사회적 파급 효과
5번	다음 세대의 우식유병률 변화	결과평가	장기적 질병 발생률 지표

혼동 주의! “5년 후”, “다음 세대”처럼 시간적 간격이 길거나 “기대수명”, “평생 의료비”처럼 거시적 지표가 제시되면 결과평가나 영향평가로 분류해야 합니다. 과정평가는 프로그램이 진행되는 시점 또는 직후에 실행 여부를 확인하는 지표입니다.

임상·지역사회 실무 적용

지역사회 구강보건교육 프로그램을 기획할 때는 처음부터 평가 계획을 함께 수립해야 합니다. 인도의 통합아동발달서비스(ICDS)에서 보건요원(Anganwadi workers)을 대상으로 한 구강보건교육 훈련 패키지 연구에서도 교육 프로그램의 효과를 다각도로 평가하기 위해 실행 과정과 결과를 함께 측정하는 혼합연구설계(mixed methods)를 적용했습니다 ^[2]. 이는 교육이 실제로 전달되었는지(과정)와 지식·행동 변화가 일어났는지(결과)를 분리하여 평가해야 함을 보여줍니다.

또한 지적·발달장애인 그룹홈 거주자를 위한 구강보건 전략 연구에서는 행동 계약, 교육 훈련, 환경 조정, 사후 코칭의 4가지 구성요소를 제시하면서 사전·사후 평가를 통해 프로그램의 실행 과정과 효과를 단계적으로 검증했습니다 . 이처럼 과정평가는 프로그램이 계획대로 작동했는지를 확인하여, 결과가 좋지 않을 때 원인을 파악하고 프로그램을 개선하는 근거를 제공합니다.

핵심! 국민건강증진사업 평가에서 과정 지표는 “무엇을 얼마나 했는가(실행량)”, 결과 지표는 “무엇이 달라졌는가(변화량)”를 측정합니다. 교육 횟수, 교육 시간, 참여율은 과정 지표이고, 우식유병률, 치주질환 이환율, 구강건강행동 변화는 결과 지표로 구분하여 이해해야 합니다.