10 보건사업 평가: 무엇이 얼마나 달라졌는가

평가는 사업이 무엇을 얼마나 바꾸었는지 판단하는 과정이다
평가는 목표를 얼마나 이루었는지, 사업이 가치가 있었는지, 무엇을 고쳐야 하는지를 판단한다. 그 결과는 사업을 계속할지, 바꿀지, 그만둘지를 정하는 근거가 된다 ('23 기출).

평가 계획은 사업을 시작할 때 세운다
사업이 끝난 뒤에야 "비교할 자료가 없다"는 것을 알게 되면 효과를 증명할 방법이 없다. 그래서 계획 단계에서 미리 정한다.

• 지표의 정의: 무엇을 셀지, 분자와 분모가 무엇인지
• 자료원과 시점: 어디서, 언제 자료를 모을지
• 책임자: 누가 모으고 정리할지
• 비교 기준: 사업 전 값(사전값)과 가능하면 사업을 받지 않은 비교집단

평가의 절차

1. 평가 대상과 기준 결정: 무엇을, 어떤 기준으로 평가할지 정한다.
2. 평가 자료 수집: 정한 지표에 맞는 자료를 모은다.
3. 목표와 현재 상태 비교: 설정한 목표와 실제로 나타난 상태를 비교한다.
4. 목표 도달 정도의 판단과 원인 분석: 얼마나 이루었는지 판단하고, 이루지 못했다면 왜 그런지 분석한다.
5. 재계획: 결과를 바탕으로 사업을 계속할지, 수정할지 정해 다음 계획에 반영한다.

예상하지 못한 이익과 위해도 기록한다. 또 주민과 실무자가 겪은 경험은 숫자가 설명하지 못하는 "왜"를 보여 주므로 수치와 함께 모은다.

논리모형: 사업이 결과에 이르는 길을 단계별로 그린다
논리모형은 "자원을 넣으면(투입) → 활동을 하고 → 그 결과물이 나오고(산출) → 사람들이 변하고(영향) → 건강이 좋아진다(결과)"는 연결 고리를 그림으로 정리한 것이다. 고리마다 지표를 정해 두면 사업이 어디에서 막혔는지 찾을 수 있다.

이해를 돕는 예: 가상의 낙상예방사업
간호사·운동지도자·예산·공간이 투입이다. 가정 위험점검과 운동교육이 활동이다. 점검한 가구 수와 교육을 마친 인원이 산출이다. 위험환경이 개선되고 운동 실천이 늘어난 것이 중간 영향이고, 낙상·골절이 줄고 삶의 질이 좋아진 것이 최종 결과다. 단계마다 보여 주는 것이 다르므로, 교육을 몇 번 했는지(산출)를 낙상이 줄었다는 증거(결과)로 쓸 수는 없다.

표가 화면보다 넓으면 좌우로 밀어서 읽는다.

구조·과정·결과 평가와 구별하기
도나베디안의 구조·과정·결과 평가는 서비스의 질을 보는 틀이다. 구조는 인력·시설·장비 같은 조건, 과정은 서비스가 제대로 수행되었는지, 결과는 대상자의 건강 변화다. 논리모형의 투입·산출·영향은 사업이 결과로 이어지는 경로를 보는 틀이라 목적이 다르다. 문제에서 묻는 지표가 인력·시설인지(구조·투입), 수행 방식인지(과정), 제공량인지(산출), 건강 변화인지(영향·결과)부터 파악하면 어느 평가 영역인지 고를 수 있다 ('22·'24~'26 기출).

평가 시점과 목적에 따른 구분: 형성평가와 총괄평가
형성평가는 사업을 개발하거나 진행하는 도중에 문제를 찾아 고치기 위한 평가다. 요리 중 간을 보는 것과 같다. 총괄평가는 사업이 끝난 뒤 전체 성과와 가치를 판단하는 평가로, 완성된 요리를 손님이 평가하는 것과 같다. 중간 만족도 조사 결과로 교육 시간을 바꿨다면 형성평가에 활용한 것이다. 같은 자료라도 무엇에 쓰느냐에 따라 평가의 성격이 달라진다. 사업 시작 전에 대상자의 상태와 요구를 파악하는 진단평가와도 구별한다 ('21·'26 기출).

무엇을 평가하는가: 평가 범주

• 투입된 노력: 인력·시간·예산을 얼마나 썼는가
• 사업 진행: 계획대로 진행되고 있는가
• 목표 달성(효과성): 목표한 변화가 나타났는가
• 효율성: 투입한 자원에 비해 얼마나 성과를 냈는가
• 적합성: 사업이 지역의 요구에 비추어 충분하고 알맞았는가 ('23 기출)

효과성과 효율성
효과성은 "목표를 이루었는가", 효율성은 "같은 성과를 얼마나 적은 자원으로 냈는가"다. 두 사업이 모두 목표를 이루었어도 한쪽이 비용·인력을 절반만 썼다면 그쪽이 더 효율적이다. 효율성을 묻는 기출은 비용이나 투입 대비 성과를 비교하는 보기를 고르게 한다.

경제성 평가 세 가지: 효과를 무엇으로 재는가

비용-편익분석은 효과까지 돈으로 바꾸므로 서로 다른 분야의 사업도 비교할 수 있다. 비용-효용분석의 QALY는 생존기간에 건강 관련 삶의 질(0~1)을 곱해, 오래 사는 것과 건강하게 사는 것을 함께 반영한다. 예를 들어 건강효용 0.8인 상태로 1년을 지내면 0.8 QALY로 계산한다. 비용이 적은 사업이 언제나 좋은 사업은 아니므로 질과 형평성도 함께 본다 ('24 기출).

지표는 분모를 밝혀야 뜻이 정해진다
같은 "완료율"이라도 분모를 무엇으로 두느냐에 따라 값이 크게 달라진다.

계산 예시(학습용)

• 초대한 200명 중 80명이 참석: 참여율=80/200=40%
• 참석한 80명 중 60명이 전 과정을 마침: 참석자 기준 완료율=60/80=75%
• 같은 60명을 초대자 기준으로 보면: 60/200=30%

두 완료율 모두 맞는 계산이지만 뜻이 다르다. 75%는 "온 사람은 대부분 끝까지 했다", 30%는 "대상자 전체로 보면 셋 중 한 명도 안 마쳤다"는 뜻이다. 그래서 분모를 반드시 명시한다. 또 사전·사후 설문의 응답자가 서로 다르면 평균 차이에 사람이 바뀐 효과가 섞이므로 같은 사람의 변화를 비교한다.

%p와 %를 구별한다
실천율이 30%에서 50%가 되었다면 차이는 20%p(퍼센트포인트) 증가다. 원래 값 대비 상대증가율은 (50−30)/30≈66.7%다. 보고서에 "20% 증가"라고 쓰면 어느 쪽인지 알 수 없으므로 단위를 정확히 쓴다.

조작적 정의를 고정한다
낙상 건수는 한 사람이 여러 번 넘어진 것까지 세고, 낙상 경험자 수는 사람 수를 센다. 해마다 어떤 정의를 쓰는지가 바뀌면 연도별 비교가 불가능하므로, 지표를 실제로 어떻게 셀지(조작적 정의)를 처음에 정해 끝까지 유지한다.

사업 전후로 좋아졌다고 해서 모두 사업 덕분은 아니다
사업 기간 동안 결과에 영향을 주는 다른 요인이 함께 작용할 수 있다.

• 계절: 겨울에 시작해 봄에 평가하면 날씨만으로도 낙상이 줄 수 있다.
• 다른 정책: 같은 시기에 지자체가 보도 정비를 했을 수 있다.
• 자연경과: 병이나 상태가 시간이 지나며 저절로 나아질 수 있다.
• 대상자 구성 변화: 건강한 사람만 끝까지 남았을 수 있다.
• 측정 방식 변화: 조사 도구나 조사자가 바뀌었을 수 있다.

같은 시기의 비교집단 자료가 있으면 이런 요인을 걸러 낼 수 있다. 두 집단 모두 겪은 계절·정책 효과를 빼고 남은 차이를 사업 효과로 볼 수 있기 때문이다. 참여자만 조사하면 중도에 그만둔 사람의 어려움이 빠지므로 탈락자의 이유와 특성도 확인한다.

평가 결과는 다음 계획으로 돌아간다(환류)
참여는 높은데 행동이 변하지 않았다면 교육 방법, 실천할 환경, 지속적인 지원 중 어디에 문제가 있는지 살핀다. 취약집단의 참여가 낮다면 모집 방식·시간·이동 지원을 바꾼다. 참여 인원(산출)만으로 성공을 판단하면 건강 변화가 없는 사업이 계속되므로, 영향과 결과 지표로 효과를 확인한 뒤 판단한다.