프로그램 평가에서 ‘계획된 절차와 매뉴얼대로 시행되었는가’를 측정하는 개념은
충실도(fidelity)이다. 충실도는 단순히 프로그램을 ‘했는지/안 했는지’가 아니라,
중재의 필수 구성요소가 실제 현장에서 의도한 대로 구현되었는지 그 존재와 강도를 측정하는 평가 영역이다
[1]. 예를 들어 치위생학과 학생이 학교에서 배운 구강보건교육 프로그램을 지역사회 실습에서 적용할 때, 교육 매뉴얼에 제시된 핵심 내용(잇솔질 실습, 치실 사용 시범 등)이 빠짐없이 전달되고 계획된 시간과 절차가 지켜졌는지를 확인하는 것이 충실도 평가에 해당한다.
충실도 평가는 여러 차원으로 구성된다. 일반적 틀에서는
맥락(context),
내용(content),
역량(competence)으로 나누며, 측정 방법으로는
직접 관찰(direct observation),
기록 검토(record reviews),
타인 질문(asking others)이 제시된다
[1]. REJOIN 파일럿 연구에서는 충실도를
내용(content),
용량·노출(dose/exposure),
전달 질(delivery quality),
참여자 반응(participant responsiveness),
맥락 요인(contextual factors)의 다섯 영역으로 평가하였다
[2]. 즉 충실도는 ‘내용이 정확했는가’뿐 아니라 ‘충분한 양이 전달되었는가’, ‘전달자의 수행 수준은 적절했는가’, ‘대상자가 잘 수용했는가’까지 포괄하는 다차원적 개념이다.
핵심! 충실도 평가에서
직접 관찰은 가장 표준적인 방법으로 간주되지만, 지역사회 기반 프로그램에서는 자원과 인력의 제약으로 실행이 어려울 수 있다. 이 때문에 지역사회 구성원을 유급 연구 인력으로 훈련시켜 관찰 역량을 확보하는 전략이 활용되기도 한다
[3]. 치과위생사가 학교 구강보건실이나 보건소에서 프로그램을 운영할 때, 예산과 인력이 부족한 현장에서는 체크리스트 기반의 기록 검토나 참여자 설문으로 충실도를 보완 평가할 수 있다는 점을 기억해야 한다.
충실도는
효과성(effectiveness)이나
외적 타당도(external validity)와 구분된다. 효과성은 프로그램이 실제로 목표한 결과를 달성했는지를 보는 것이고, 외적 타당도는 연구 결과를 다른 집단이나 환경에 일반화할 수 있는지를 묻는 개념이다. 반면 충실도는
결과가 좋았는지와 무관하게, 애초에 설계된 대로 충실히 실행되었는지를 독립적으로 평가한다. EPI-SET 연구에서도 촉진된 실행(facilitated implementation)이 근거기반 표준 모델인 NAVIGATE에 대한 충실도를 높이는지, 그리고 그 충실도 향상이 환자 기능 개선으로 이어지는지를 별도로 측정하였다
[4]. 이처럼 충실도는 프로그램의
과정(process)을 평가하는 지표이며, 결과 평가와는 구별되어야 한다.
혼동 주의! ‘적절성(appropriateness)’은 프로그램이 대상 집단의 요구나 상황에 맞는지를 평가하는 개념으로, 시행 절차의 준수 여부를 보는 충실도와 다르다. ‘형평성(equity)’은 자원이나 서비스가 공정하게 분배되었는지를 평가하는 영역이다. 문제에서 ‘매뉴얼과 계획된 절차대로 시행됐는지’를 묻고 있으므로, 답은 충실도이다. 충실도 평가는 프로그램의 내적 타당도를 지키는 핵심 장치로, 중재가 의도대로 전달되지 않았다면 효과가 없게 나온 것인지, 아니면 프로그램 자체가 효과가 없는 것인지를 구분할 수 있게 한다.
참고 문헌 (논문 출처)
- [1]
A general framework for fidelity assessment.일반논문Fixsen DL, Van Dyke MK, Blase KA. (2026) · DOI: 10.3389/frhs.2026.1838719
- [2]
Evaluating the Implementation Fidelity of the REJOIN (Using Exercise to Relieve Joint Pain and Improve Aromatase Inhibitor Adherence in Older Breast Cancer Survivors) Pilot Trial.일반논문Coffman EM, Zakrzewski SG, Leitzelar BN, Peters CH, Zimmer RP, Bluethmann SM. (2026) · DOI: 10.1177/07334648261472544
- [3]
Developing an implementation fidelity measure for a family healthy weight program.일반논문Golden CA, Estabrooks PA, Heelan KA, Bartee RT, Porter GC, Pereira EL (2025) · DOI: 10.1186/s12966-025-01755-2
- [4]
Fidelity, Implementation Determinants, and Patient-Level Outcomes Following Initial Implementation of NAVIGATE in the Early Psychosis Intervention-Spreading Evidence-Based Treatment (EPI-SET) Study.일반논문Barwick M, Durbin J, Foussias G, Panzarella E, Saliba M, Brooks S, Stasiulis E, Dubrowski R, Kurdyak P, Sockalingam S, Addington D, Ampofo A, Anderson K, Bromley S, Choi M, Dahrouge S, Duda L, Jaouich A, Koegl C, Maxwell C, Miranda D, de Oliveira C, Polillo A, Primeau V, Riley J, Rossi D, Serhal E, Shakespeare J, Soklaridis S, Urajnik D, Kozloff N, Voineskos A. (2026) · DOI: 10.1093/schbul/sbaf119