보건프로그램 실행계획서의 '평가 계획' 부분에서 과정 평가(Process Evaluation)의 핵심 질문으로 가장 적절한 것은?

과정 평가는 프로그램이 계획된 대로 운영되고 있는지, 활동과 서비스가 충실하게 전달되고 있는지를 모니터링하는 데 초점을 둔다. 1, 5번은 결과/영향 평가, 2번은 경제성 평가, 4번은 일반화 가능성(외적 타당도)에 대한 질문이다.

보건행정 핵심 해설 이 문제는 보건프로그램 평가의 유형 중 과정 평가(Process Evaluation)의 핵심 목적을 정확히 이해하고 있는지 묻고 있어요. 보건행정에서 프로그램 기획은 PDCA 사이클(Plan-Do-Check-Act)에 따라 진행되며, 평가 단계는 크게 과정 평가, 결과 평가, 영향 평가, 경제성 평가로 구분된답니다.

핵심 개념 분석 (Key Concept)
과정 평가(Process Evaluation)는 ‘블랙박스’라고 불리는 프로그램의 내부 운영 실태를 들여다보는 작업이에요. 쉽게 말해, “우리가 하기로 한 것을 제대로 했는가?”를 확인하는 단계입니다. 이는 단순히 예산 집행률을 넘어, 프로그램의 모든 활동(Activity)과 서비스(Service)가 계획서에 명시된 대로, 목표한 양과 질을 유지하며, 적절한 대상자에게 전달되었는지를 종합적으로 판단하는 것을 의미해요.

정답 근거 (Answer Rationale)
핵심! ① 프로그램이 의도한 활동과 서비스를 계획대로 충실히 수행하였는가?
이 문장은 과정 평가의 핵심 질문 그 자체예요. 여기서 말하는 ‘충실도(Fidelity)’는 프로그램의 성공 여부를 판단하기 위한 선행 조건입니다. 아무리 결과가 좋아도, 프로그램이 엉터리로 운영되었다면 그 효과를 프로그램 자체의 효과라고 인정할 수 없기 때문이에요. 과정 평가에서는 참여율, 중도 탈락률, 서비스 제공 빈도, 매뉴얼 준수 여부 등을 주로 측정합니다.

오답 분석 (Distractor Analysis)
혼동 주의! ② 프로그램 참여자의 삶의 질이 장기적으로 얼마나 향상되었는가?
이것은 영향 평가(Impact Evaluation)의 영역입니다. 영향 평가는 프로그램의 궁극적인 목표 달성 여부를 장기적인 관점에서 측정하는 것이에요. 과정 평가는 단기적인 산출물(Output)과 활동에 초점을 맞추므로 구분해야 해요.

혼동 주의! ③ 프로그램을 통해 지역사회의 건강 지표가 얼마나 개선되었는가?
이것은 결과 평가(Outcome Evaluation)에 해당합니다. 결과 평가는 프로그램의 직접적인 단기 및 중기적 효과(예: 유병률 감소, 건강 행태 변화)를 측정하는 것이에요. 과정 평가는 건강 지표의 변화를 보는 것이 아니라, 그러한 변화를 일으키기 위한 활동들이 제대로 진행되었는지를 먼저 확인하는 단계예요.

혼동 주의! ④ 프로그램의 예산이 계획된 대로 적절하고 효율적으로 집행되었는가?
예산 집행의 효율성을 따지는 것은 경제성 평가(Economic Evaluation), 특히 비용-효과 분석이나 비용-편익 분석의 영역이에요. 물론 과정 평가에서 ‘투입된 자원이 계획대로 사용되었는가’를 볼 수 있지만, 이 선택지는 ‘효율성’이라는 경제적 가치 판단을 포함하므로 더 넓은 개념이에요. 과정 평가는 ‘적절성’과 ‘충실도’에 더 방점을 둡니다.

혼동 주의! ⑤ 프로그램의 효과가 다른 지역사회에서도 동일하게 나타날 수 있는가?
이것은 연구 방법론의 외적 타당도(External Validity) 또는 일반화 가능성(Generalizability)에 대한 질문입니다. 과정 평가를 통해 프로그램 모델의 재현 가능성을 확보할 수는 있지만, 이 질문 자체는 평가 연구 설계의 타당도 개념에 더 가까워요.

개념 정리 보건프로그램 평가의 유형

구분	핵심 질문	측정 지표 예시
과정 평가	계획대로 잘 운영되고 있는가?	참여율, 충실도, 접근성, 서비스 제공량
결과 평가	단기적 목표(건강 지식·태도·행태 변화)를 달성했는가?	금연율, 운동 실천율, 건강 지식 점수
영향 평가	장기적 궁극 목표(삶의 질·유병률·사망률)에 변화가 있는가?	사망률, 삶의 질 지수, 암 발생률
경제성 평가	투입된 비용 대비 효과가 효율적인가?	비용-효과비, 순편익, 비용-효용비

한눈에 비교! 과정 평가 vs 모니터링
혼동하기 쉽지만, 모니터링은 프로그램 진행 중 지속적으로 자료를 수집하는 ‘활동’ 자체에 더 가깝고, 과정 평가는 수집된 자료를 바탕으로 ‘판단’을 내리는 공식적인 단계예요. 모니터링은 과정 평가를 위한 필수 도구인 셈이죠.

실무 포인트 보건소나 건강보험공단에서 건강증진 프로그램을 기획할 때, 과정 평가지표를 사전에 설계하지 않으면 프로그램의 실패 원인을 분석할 수 없어요. 예를 들어, 금연 프로그램의 효과가 낮을 때 “프로그램 자체가 나빴는지”, 아니면 “대상자들이 프로그램에 제대로 참여하지 않았는지”를 구분하려면 과정 평가 데이터가 반드시 필요합니다.

암기 팁 ‘과결영경’으로 외우세요! 프로그램이 진행되는 순서대로 과(과정평가) → 결(결과평가) → 영(영향평가), 그리고 효율성을 따지는 경(경제성평가)로 기억하면 헷갈리지 않아요.

국시 빈출 포인트 보건의료정보관리사 및 병원행정사 시험에서 보건의료기획 과목의 단골 주제예요. 특히 ‘구조-과정-결과 평가(Donabedian 모형)’와 혼합하여 객관식 보기로 자주 출제되니, 각 평가 유형별로 측정하는 지표가 무엇인지 정확히 구분해서 암기해야 합니다.

기출 변형 주의! 같은 개념을 사례형으로 출제하여, “OO보건소의 비만 예방 프로그램이 계획서 대비 60%만 운영되었다는 평가를 받았다. 어떤 평가 유형에 해당하는가?”라고 물어볼 수 있어요. 이런 경우 프로그램의 ‘충실도’가 낮음을 지적하는 것이므로 과정 평가의 결과라는 점을 바로 파악해야 해요.

보건행정 실무 가이드 실무 시나리오 (Clinical Scenario)
당신은 지역 보건소의 보건행정 담당자입니다. 관할 지역 내 취약계층 아동을 대상으로 한 영양 개선 프로그램을 6개월째 운영 중인데, 중간 평가 결과 당초 목표했던 아동의 빈혈 수치 개선 효과가 전혀 나타나지 않았어요. 사업 담당 팀장은 “예산은 다 썼으니 일단 6개월 더 해보자”고 하지만, 당신은 성급하게 프로그램을 연장하기 전에 과정 평가 데이터를 분석해야 한다고 판단합니다. 어떤 자료를 어떻게 검토해야 할까요?

행정 중재 전략 (Admin Intervention)
핵심! 무조건적인 프로그램 연장은 예산 낭비로 이어질 수 있어요. 상황 파악 단계에서 과정 평가 자료를 긴급 분석해야 합니다. 출석부, 급식 배식 일지, 영양 교육 자료 배포 확인서 등을 검토하여 실제로 몇 명의 아동이 얼마나 자주, 제대로 된 서비스를 받았는지(충실도) 확인합니다. 대응 처리 단계에서는 만약 참여율이 저조했다면 ‘접근성 개선(방문 서비스 전환)’을, 영양사가 아닌 비전문가가 교육했다면 ‘인력 재배치’를 제안할 수 있어요. 이것이 바로 과정 평가 데이터를 실무 행정에 활용하는 힘이에요.

법적 안전 및 주의사항 (Precautions)
보건복지부 국고보조사업의 경우, 과정 평가 결과가 극히 부실하면 다음 연도 사업 예산이 삭감될 수 있어요. 특히 혼동 주의! 예산 증빙 영수증만 챙기는 데 급급해서 사업 ‘실적’(참여자 수, 제공량)을 부풀리면 보조금 관리에 관한 법률 위반으로 환수 및 형사 처벌 대상이 될 수 있다는 점을 항상 기억하세요.

업무 프로토콜 1. 지표 수집: 사전에 개발된 과정 평가지표(참여율, 서비스 제공량, 충실도)에 따라 자료 수집.
2. 격차 분석: 계획(Plan) 대비 실적(Do)의 차이(Gap)를 분석.
3. 원인 규명: 차이가 발생한 원인을 프로그램 내·외부 요인으로 나누어 파악.
4. 환류: 분석 결과를 바탕으로 프로그램 운영 방식 수정(Adjust) 및 차년도 계획에 반영.

선배의 한마디 "보건행정가에게 과정 평가는 단순한 문서 작업이 아니에요. 예산과 인력이 헛되이 쓰이지 않도록 프로그램의 건강 상태를 진단하는 ‘청진기’와 같은 역할을 하죠. 결과만 보여주는 보고서는 누구나 쓸 수 있지만, 왜 그런 결과가 나왔는지 과정을 분석하여 대안을 제시하는 전문가가 바로 여러분이랍니다!"