(1) 평가의 개념

① 목적

평가는 프로그램이 계획대로 수행되었는지와 의도한 결과를 얻었는지를 확인하는 활동이다.

프로그램을 개선할 근거를 얻고, 투입한 자원이 정당하게 쓰였는지를 밝히며, 계속할지 확대할지 중단할지를 결정하는 데 쓰인다.

② 원칙

평가는 프로그램을 기획할 때 함께 설계한다. 끝난 뒤에 붙이면 목표와 어긋난 지표를 쓰게 된다.

평가의 기준은 미리 정한 목표에 근거하며, 객관적인 자료로 이루어져야 한다.

결과는 관련된 사람들에게 공유되고 다음 계획에 반영되어야 한다.

(2) 시점에 따른 유형

형성평가에서 얻은 정보를 진행 중에 반영하지 않으면 확인하는 수고만 늘어난다.

(3) 대상에 따른 유형

① 구조평가

프로그램에 투입된 인력, 예산, 시설, 장비 같은 여건을 평가한다. 투입평가라고도 하며 수행할 준비가 갖추어졌는지를 본다.

② 과정평가

활동이 계획대로 이루어졌는지를 평가한다. 일정 준수 정도, 계획 대비 수행률, 참여율과 만족도, 자원의 집행 정도를 본다.

도달률은 계획한 대상자 가운데 실제로 참여한 사람의 비율이고, 충실도는 계획한 내용대로 이루어진 정도다.

제공량은 계획한 활동 가운데 실제로 제공한 양이며 수혜량은 대상자가 실제로 받은 양이다.

교육 횟수, 참여 인원, 수검률, 등록관리율 같은 산출 지표는 과정평가에서 다룬다.

③ 결과평가

영향평가는 지식과 태도, 자기효능감, 행동, 환경의 변화를 보는 것으로 중단기 변화에 해당한다.

성과평가는 유병률, 사망률, 삶의 질 같은 건강 수준의 변화를 보는 것으로 장기 변화에 해당한다.

자원봉사 활동자 수는 투입에 해당하고, 수검률과 등록관리율과 참여 인원은 활동의 직접 결과이므로 산출 지표다.

사망률은 가장 장기간에 걸쳐 나타나는 결과 지표다.

④ 도나베디안의 구분

도나베디안은 의료의 질을 구조와 과정과 결과의 세 측면으로 나누어 평가하도록 했다.

구조는 서비스를 제공하는 여건, 과정은 실제로 이루어지는 활동, 결과는 그로 인한 변화다.

(4) 주체에 따른 유형

(1) 평가의 절차

① 일곱 단계

평가의 목적과 범위를 정하고, 목표에 근거해 지표를 선정하며, 평가 설계를 정한다.

이어서 자료 수집의 방법과 도구를 마련하고, 자료를 수집해 분석한 뒤, 결과를 해석해 보고서를 쓰고, 결과를 공유해 다음 프로그램에 반영한다.

② 절차를 지키는 이유

순서를 건너뛰면 지표가 목표와 어긋나거나, 자료를 다 모은 뒤에야 필요한 항목이 빠진 것을 알게 된다.

특히 평가 설계를 정하기 전에 자료부터 모으면 비교할 기준이 없어 변화를 설명할 수 없다.

결과를 공유하고 반영하는 마지막 단계까지 마쳐야 평가가 끝난 것이다. 보고서를 만들어 두는 것으로 끝내면 다음 사업이 달라지지 않는다.

(2) 평가 지표의 선정

목표 달성률은 실적을 목표로 나눈 뒤 100을 곱해 구한다. 목표가 측정할 수 있는 형태로 진술돼 있어야 달성률을 낼 수 있다.

(3) 평가 설계

① 두 가지 판별 축

평가 설계는 비교할 대조군이 있는지와 사전 측정을 했는지 두 가지로 가른다. 대조군은 프로그램을 받지 않은 비교 집단을 뜻한다.

② 세 갈래

원시실험설계는 무작위 배정이 없고 비교가 충분하지 않은 설계이며 전실험설계라고도 한다.

유사실험설계는 대조군은 있으나 무작위로 배정하지 않은 설계이며 준실험설계라고도 한다.

순수실험설계는 대상자를 무작위로 배정해 대조군을 두는 설계이며 진실험설계라고도 한다. 두 집단의 조건이 비슷해지므로 인과관계를 가장 잘 확인할 수 있다.

③ 설계별 판별표

대조군이 없고 프로그램 전후를 한 번씩 측정했다면 단일군 사전사후조사 설계다.

솔로몬 4집단 설계는 사전 측정을 하는 두 집단과 하지 않는 두 집단을 두어 검사효과까지 확인한다.

교재에 따라 정태적 집단비교를 비동등성 대조군 사후설계라 하여 유사실험으로 분류하기도 한다.

④ 결과를 흐리는 요인

프로그램 밖의 사건이 일어난 역사, 시간이 지나며 대상자가 자연히 변하는 성숙, 사전 검사의 경험이 사후에 영향을 주는 검사효과가 대표적이다.

측정도구의 변화, 극단값이 평균으로 돌아가는 통계적 회귀, 두 집단이 처음부터 달랐던 선택, 도중에 빠져나가는 탈락도 함께 본다.

관찰받고 있다는 사실 자체가 행동을 바꾸는 호손효과는 결과를 다른 상황에 적용하기 어렵게 만든다.

⑤ 분석 대상의 설정

중도에 그만둔 사람을 빼고 분석하면 효과가 실제보다 크게 나타나며 이를 탈락 편향이라 한다.

배정 시점의 전체 대상자를 그대로 분석에 넣는 방식을 배정대로 분석이라 한다.

(4) 평가 자료의 수집

① 자료원

참여자 명단과 출석 기록, 사전사후 설문, 측정한 신체 지표, 상담 기록, 기존 통계를 함께 쓴다.

사업을 수행하며 남긴 기록이 곧 평가 자료가 되므로 기록 서식을 처음부터 평가 지표에 맞추어 만든다.

② 사전 측정의 확보

사전 측정이 없으면 변화를 확인할 방법이 없다. 첫 회차에 반드시 기초 자료를 받는다.

사전 검사가 부담이 되어 참여를 막을 수 있으므로 문항 수를 줄이고 필요한 것만 묻는다.

③ 탈락 관리

중도 탈락자에게도 가능하면 사후 측정을 시도한다. 남은 사람만 재면 효과가 부풀려진다.

탈락률과 탈락자의 특성을 함께 보고해야 결과를 정직하게 읽을 수 있다.

(5) 경제성 평가

세 방법을 가르는 것은 비용이 아니라 결과를 무엇으로 재는가다. 비용은 모두 화폐로 잡는다.

(1) 비교의 기준

평가 결과는 미리 정한 목표치와 견주어 해석한다.

사업을 시작하기 전의 값인 기저치와 견주어야 변화가 있었는지 알 수 있다. 이전 시점의 값이 없으면 그 해의 값만으로는 좋아졌는지 나빠졌는지 판단할 수 없다.

변화의 폭이 같더라도 출발점인 기저치가 다르면 의미가 달라지므로 기저치를 함께 확인한다.

다른 지역이나 전국 평균과 견주면 상대적인 수준을 알 수 있다.

(2) 해석의 유의점

① 연령표준화율

같은 표준인구를 적용해 인구의 연령 구조 차이를 미리 보정한 값이다.

같은 표준인구로 산출한 표준화율끼리는 연령 구조가 이미 통제돼 있으므로 평균 연령을 다시 따질 필요가 없다.

표준인구가 서로 다르면 표준화율끼리도 곧바로 비교할 수 없다.

표준화율은 비교를 위해 만든 값이므로 그 자체를 실제 발생 수준으로 읽어서는 안 된다.

② 그 밖의 주의

통계적으로 유의한 차이라도 실제로 의미 있는 크기인지는 따로 판단한다.

프로그램 밖의 다른 요인이 결과에 영향을 주었을 가능성을 함께 검토한다.

참여자만 분석하면 프로그램의 효과가 실제보다 크게 보일 수 있다.

(3) 평가보고서

평가 설계와 표본추출 방법, 측정 도구는 결과가 아니라 평가 방법에 쓴다.

(4) 결과의 활용

① 쓰임

프로그램을 개선하는 근거, 계속할지 확대할지 중단할지를 결정하는 근거, 자원을 다시 배분하는 근거로 쓴다.

대상자와 이해관계자, 재정 지원 기관에 보고해 책무성을 밝히는 데도 쓴다.

평가 결과가 다음 프로그램의 기획으로 돌아가 반영되는 것을 환류라 한다.

② 공유

보고 대상에 따라 내용과 형식을 달리한다.

실무자에게는 개선에 필요한 구체적인 내용을, 의사결정자에게는 요약된 성과를, 주민에게는 이해하기 쉬운 말과 그림으로 전달한다.

잘된 점만 보고하면 다음 사업이 같은 문제를 되풀이한다. 잘 안 된 점과 그 이유를 함께 남긴다.