핵심 해설
이 문제는 평가의 평가, 즉
메타 평가(Meta-evaluation)의 개념을 정확히 이해하고 있는지 확인하는 문제예요. 메타 평가는 수행된 평가가 얼마나 체계적이고 신뢰할 수 있는지를 점검하는 상위 단계의 평가 활동이에요.
핵심 개념 분석 (Key Concept): 메타 평가는 '평가에 대한 평가'예요. 개별 평가 보고서나 평가 시스템 자체가 평가의 일반적인 기준(예: 정확성, 타당성, 신뢰성, 윤리성, 활용도)을 충족하는지를 독립적으로 검토하는 과정이에요. 평가 결과의 책무성(Accountability)을 확보하고 평가의 품질을 향상시키는 것이 목적이에요.
정답 근거 (Answer Rationale):
핵심! 예를 들어, 한 보건소에서 실시한 금연 사업의 효과성 평가 보고서에 대해, 외부 전문가가 평가 설계의 적절성, 데이터 수집 방법의 타당성, 분석의 정확성, 결론의 논리성 등을 평가하는 것이 바로 메타 평가예요. 이는 미국 평가 협회(AEA)의 평가자 윤리 강령이나 정부의 평가 품질 관리 지침 등을 기준으로 삼아 평가의 신뢰성을 공식적으로 검증하는 활동입니다.
오답 분석 (Distractor Analysis):
혼동 주의! ①은 '비용-편익 분석'이나 '비용-효과 분석' 같은
경제성 평가(Economic Evaluation)에 대한 설명이에요. ②는 사업 담당자가 직접 수행하는
자체 평가(Self-evaluation)의 정의이며, ④는 여러 연구 결과를 통계적으로 통합하는
메타 분석(Meta-analysis)을 설명하고 있어요. ⑤는 사업 계획 단계에서 실시하는
평가 가능성 평가(Evaluability Assessment)에 해당합니다. 메타 평가와 메타 분석은 용어가 비슷하지만 완전히 다른 개념이므로 시험에서 자주 혼동을 유발하는 함정으로 출제됩니다.
연관 개념 정리 (Related Concepts): 메타 평가는 평가의 질 관리를 위한 핵심 도구이며, 증거 기반 정책 결정을 위해 평가 결과의 신뢰성을 담보하는 중요한 장치예요. 공공 부문에서는 국회나 감사원의 요구에 따라 특정 정책 평가에 대한 메타 평가를 실시하기도 해요.
개념 정리:
메타 평가(Meta-evaluation) = 평가 자체의 질과 신뢰성에 대한 체계적인 검토 활동. '평가를 위한 평가'라는 점에서 평가 가능성 평가와 유사하지만, 메타 평가는 '완료된 평가'를 대상으로 한다는 점이 달라요.
한눈에 비교!
| 구분 | 메타 평가 (Meta-evaluation) | 메타 분석 (Meta-analysis) |
|---|
| 대상 | 평가 보고서, 평가 시스템 | 개별 연구들의 결과(통계치) |
| 목적 | 평가의 질과 신뢰성 검증 | 통합적 효과 크기 산출 |
| 방법 | 평가 기준에 따른 질적·양적 검토 | 통계적 기법을 이용한 데이터 통합 |
| 예시 | 국회예산정책처의 정부 정책 평가 보고서 검토 | 여러 금연 프로그램 연구를 모아 전체 효과 크기 분석 |
실무 포인트: 대규모 국가 R&D 사업이나 보건복지부의 주요 정책 평가에서는 평가 결과의 공신력을 높이기 위해 독립적인 기관에 의한 메타 평가를 거치도록 제도화하는 추세예요. 평가 용역을 발주한 기관은 최종 보고서 검수 단계에서 메타 평가 기준을 적용하여 평가의 완성도를 점검해야 해요.
암기 팁: '메타(Meta)'는 '~에 대한', '~을 넘어선'이라는 의미예요. '메타 평가'는 '평가를 넘어선 평가', 즉
'평가에 대한 평가'로 기억하면 쉬워요.
국시 빈출 포인트: 메타 평가와 메타 분석을 혼동하여 출제하는 함정 문제가 매우 빈번하게 나와요. 두 용어의 정의와 예시를 정확히 구분해서 암기해야 해요.
기출 변형 주의!: "한 연구자가 금연 프로그램의 효과를 평가한 기존의 연구 10편을 수집하여 통합적인 효과 크기를 산출하였다."라는 지문을 주고 이것이 메타 평가인지 메타 분석인지 묻는 문제로 변형될 수 있어요. 이 경우는
메타 분석(Meta-analysis)이 정답이에요.