보건프로그램 평가에서 '메타 평가(Meta-evaluation)'의 대상으로 가장 적절한 것은?

보건행정 핵심 해설
핵심 개념 분석 (Key Concept): 이 문제는 평가에 대한 평가라는 상위 개념을 묻고 있어요. 메타 평가(Meta-evaluation)는 수행된 평가가 얼마나 체계적이고, 윤리적이며, 타당한 절차를 거쳤는지 평가하는 것입니다. 즉, 평가 대상이 '프로그램'이 아니라 '평가 자체'라는 점이 핵심입니다.
정답 근거 (Answer Rationale): 핵심! 메타 평가는 평가의 품질을 보증하고, 평가 결과에 대한 신뢰도를 판단하며, 향후 평가 역량을 강화하기 위한 목적으로 실시됩니다. 미국 평가 협회(AEA)의 평가자 윤리 강령이나 공동 위원회(JCSEE)의 프로그램 평가 표준(정확성, 실용성, 적절성, 유용성) 등이 메타 평가의 주요 기준이 됩니다.
오답 분석 (Distractor Analysis): ①은 결과 평가의 대상입니다. ②는 프로그램 대상자 분석에 해당합니다. ④는 재무 감사나 과정 평가의 일부입니다. ⑤는 직원 만족도 조사나 조직 진단의 대상이 될 수 있습니다. 이들은 모두 프로그램의 구성 요소이거나 프로그램 평가의 대상이지, 평가 자체를 평가하는 메타 평가의 대상은 아닙니다.
연관 개념 정리 (Related Concepts): 메타 평가는 형성적 메타 평가(평가 진행 중 개선을 위해 실시)와 총괄적 메타 평가(평가 종료 후 품질 판단을 위해 실시)로 나눌 수 있습니다.

핵심 해설 핵심 개념 분석 (Key Concept): 이 문제는 평가 체계의 최상위 개념인 메타 평가(Meta-evaluation)의 본질을 묻고 있어요. 메타 평가는 '평가에 대한 평가'로, 수행된 평가 활동 자체의 질(Quality), 적절성, 윤리성, 정확성 등을 체계적으로 검토하는 상위 수준의 평가 활동이에요. 평가 대상이 '프로그램'이나 '사업'이 아니라 '평가' 그 자체라는 점이 핵심이에요.
정답 근거 (Answer Rationale): 핵심! 메타 평가의 주된 목적은 평가 결과의 신뢰성과 활용도를 보장하고 평가자의 전문성을 향상시키기 위한 것이에요. 따라서 평가 설계가 적절했는지, 자료 수집 방법이 타당했는지, 결과 해석이 논리적인지 등 평가 자체의 질과 적절성을 평가 대상으로 삼아요. 이는 미국 합동 평가 위원회(JCSEE)의 프로그램 평가 표준(정확성, 실용성, 적절성, 유용성)을 근거로 해요.
오답 분석 (Distractor Analysis): 혼동 주의! ①번 '프로그램 참여자의 인구사회학적 특성'은 프로그램 과정 평가(Process Evaluation)나 대상자 분석(Target Population Analysis)에서 다루는 영역이에요. 프로그램 참여자의 특성을 분석하는 것이지 평가 자체의 질을 평가하는 것은 아니에요. 혼동 주의! ②번 '프로그램의 연간 예산 집행 내역'은 재무 감사(Financial Audit)나 비용 분석(Cost Analysis)의 대상이에요. 예산이 얼마나 효율적으로 집행되었는지를 평가하는 것으로, 평가 활동 자체의 질과는 직접적인 관련이 없어요. 혼동 주의! ③번 '프로그램 담당 직원의 업무 만족도'는 조직 진단(Organizational Assessment)이나 직원 평가(Staff Evaluation)의 대상이에요. 프로그램 수행 인력의 만족도를 평가하는 것이지 평가 체계를 평가하는 메타 평가의 대상이 될 수 없어요. 혼동 주의! ⑤번 '프로그램의 최종 건강 결과 지표'는 결과 평가(Outcome Evaluation)나 영향 평가(Impact Evaluation)의 핵심 대상이에요. 프로그램이 목표한 건강 결과를 달성했는지를 평가하는 것으로, 메타 평가의 대상이 아니라 메타 평가에 의해 평가될 수 있는 하위 평가 활동이에요.
연관 개념 정리 (Related Concepts): 메타 평가는 평가 시점에 따라 평가가 진행되는 중간에 개선 목적으로 수행하는 형성적 메타 평가(Formative Meta-evaluation)와 평가 종료 후 최종적인 품질을 판단하기 위해 수행하는 총괄적 메타 평가(Summative Meta-evaluation)로 나눌 수 있어요. 보건사업 평가에서 이 두 가지를 적절히 활용하면 평가의 신뢰도를 높일 수 있어요. 개념 정리

구분	대상	주요 목적
메타 평가	평가 활동 자체	평가의 질 보증 및 신뢰도 향상
결과 평가	프로그램의 효과성	목표 달성 여부 판단
과정 평가	프로그램 수행 과정	집행의 충실도 및 효율성 점검

한눈에 비교!

구분	형성적 메타 평가	총괄적 메타 평가
시점	평가 진행 중	평가 완료 후
목적	평가 설계 및 과정 개선	평가 결과의 질 최종 판단
초점	개선 가능성, 문제점 발견	품질 보증, 책무성 확보

실무 포인트 보건 프로그램 기획 부서에서 사업 평가 용역을 발주할 때, 과업지시서에 외부 메타 평가 계획을 포함시키는 경우가 늘고 있어요. 평가 용역의 최종 보고서를 제출받은 후, 별도의 메타 평가 위원회를 구성하여 해당 평가가 JCSEE 표준을 준수했는지 검토하는 절차를 거치면 평가 결과의 객관성과 활용도를 크게 높일 수 있어요.
암기 팁 "평가의 메커니즘을 타진한다"는 의미로 메타 평가를 기억하세요. 대상이 프로그램(Program)이 아니라 평가(Evaluation) 그 자체라는 점을 떠올리면, 다른 보기들과 쉽게 구분할 수 있어요.
국시 빈출 포인트 보건의료정보관리사 및 병원행정사 시험에서 메타 평가는 보건사업 기획 및 평가 단원에서 단골 출제 주제예요. 단순히 '평가에 대한 평가'라는 정의를 넘어, 어떤 요소를 평가 기준으로 삼는지(정확성, 유용성 등)를 구체적으로 묻는 문제로 자주 출제되니 표준을 함께 암기하는 것이 좋아요.
기출 변형 주의! 같은 개념을 사례형으로 출제하여 "A 보건소에서 실시한 금연 사업 평가 보고서의 신뢰성에 문제가 제기되었다. 이 문제를 해결하기 위해 가장 우선적으로 실시해야 할 평가는?"과 같은 질문으로 변형될 수 있어요. 이 경우도 평가 보고서 자체의 질을 재평가하는 메타 평가가 정답이에요.

보건행정 실무 가이드 실무 시나리오 (Admin Scenario): 당신은 보건소 건강증진팀장입니다. 작년에 외부 전문 기관에 의뢰하여 실시했던 '지역사회 고혈압 관리 사업'의 평가 결과에 대해, 일부 이해관계자들이 "평가가 편향되었다"는 의혹을 제기했어요. 보고서를 검토한 결과, 평가 설계 단계에서 특정 연령대만 과도하게 표본으로 추출한 점이 확인되었습니다. 당신은 평가 결과의 공식 발표를 앞두고, 이 평가 자체의 타당성을 점검하기 위한 절차를 지시해야 합니다.
행정 중재 전략 (Admin Intervention): - 상황 파악: 문제가 제기된 평가 보고서와 관련 자료(입찰 공고, 과업 지시서, 중간 보고서 등)를 수집하고, 의혹의 구체적인 근거를 분석해요. - 법적/규정 검토: 메타 평가(Meta-evaluation)의 필요성을 인지하고, 핵심! JCSEE의 '프로그램 평가 표준' 중 정확성(Accuracy) 기준(타당한 정보, 신뢰할 수 있는 정보, 체계적인 정보 등) 위반 여부를 중점적으로 검토할 계획을 수립해요. - 대응 및 처리: 보건소 내부 또는 외부의 독립된 평가 전문가에게 형성적 메타 평가(Formative Meta-evaluation)를 의뢰해요. 표본 추출 오류의 심각성, 데이터 분석 방법의 적절성, 결론 도출의 논리성 등을 재검토하여, 평가 결과의 일부를 수정하거나 전면 재평가를 권고받아요. - 사후 기록/보고: 메타 평가 결과를 바탕으로 최종 평가 보고서에 '평가의 제한점'으로 명시하고, 향후 평가 발주 시 평가 설계 단계에 대한 품질 관리 기준을 강화하는 공문을 작성하여 결재를 올려요.
업무 프로토콜 메타 평가 수행 절차: 1단계: 메타 평가 대상 평가 보고서 선정 및 계약/과업 지시서 검토 2단계: 평가의 목적, 설계, 자료 수집 방법, 분석 절차 등 평가 수행 체계 전반에 대한 기술적 검토 3단계: JCSEE 평가 표준(유용성, 실행 가능성, 적절성, 정확성)에 기반한 품질 점검 체크리스트 작성 및 적용 4단계: 평가 결과의 해석 및 결론 도출 과정의 논리적 타당성 검증 5단계: 메타 평가 최종 보고서 작성 (평가의 강점, 약점, 개선 권고사항 포함) 및 원 평가팀과의 공유
선배의 한마디 "보건행정가로서 '우리가 하는 평가가 과연 제대로 된 평가일까?'라는 의문을 끊임없이 가지는 것이 전문성의 시작이에요. 평가 결과만 보여주려고 하기보다, 그 결과를 뒷받침하는 평가 방법론 자체의 질을 관리할 수 있어야 진정한 사업 성과를 입증할 수 있어요. 메타 평가는 이 의문을 해소해 주는 최고의 도구랍니다."