(1) 평가의 개념

① 정의와 목적

평가는 프로그램이 계획대로 수행되었는지와 의도한 결과를 얻었는지를 확인하는 활동이다.

평가는 프로그램을 개선하기 위한 근거를 얻으려고 한다.

평가는 투입한 자원이 정당하게 쓰였는지를 확인하고 책무성을 밝히려고 한다.

평가는 앞으로 프로그램을 계속할지, 확대할지, 중단할지를 결정하는 근거가 된다.

② 평가의 원칙

평가는 프로그램을 기획할 때 함께 설계하여야 한다.

평가의 기준은 미리 정한 목표에 근거하여야 한다.

평가는 객관적인 자료에 근거하여야 한다.

평가의 결과는 관련된 사람들에게 공유되고 다음 계획에 반영되어야 한다.

(2) 평가 시점에 따른 유형

① 형성평가

형성평가는 프로그램이 진행되는 도중에 실시하는 평가다.

진행 상황을 확인하고 문제를 찾아 프로그램을 개선하는 데 목적이 있다.

② 총괄평가

총괄평가는 프로그램이 끝난 뒤에 실시하는 평가다.

목표가 달성되었는지와 성과가 얼마나 되는지를 판단하는 데 목적이 있다.

③ 핵심 비교표

(3) 평가 대상에 따른 유형

① 구조평가

구조평가는 프로그램에 투입된 인력, 예산, 시설, 장비와 같은 여건을 평가하는 것이다.

투입평가라고도 하며 프로그램을 수행할 준비가 갖추어졌는지를 본다.

목표를 세울 때 쓰는 투입목표는 이 구조평가의 대상이 되고 산출목표는 과정평가의 대상이 된다.

② 과정평가

과정평가는 프로그램의 활동이 계획대로 이루어졌는지를 평가하는 것이다.

일정의 준수 정도, 계획 대비 수행률, 대상자의 참여율과 만족도, 자원의 집행 정도를 본다.

도달률은 계획한 대상자 가운데 실제로 참여한 사람의 비율이다.

충실도는 프로그램이 계획한 내용대로 이루어진 정도다.

제공량은 계획한 활동 가운데 실제로 제공한 양이고 수혜량은 대상자가 실제로 받은 양이다.

논리모형에서 투입과 활동을 거쳐 나온 산출은 과정평가의 영역에 속한다.

교육 횟수, 참여 인원, 수검률, 등록관리율과 같은 산출 지표는 과정평가에서 다룬다.

③ 결과평가

결과평가는 프로그램으로 나타난 변화를 평가하는 것이다.

영향평가는 지식, 태도, 자기효능감과 행동, 환경의 변화를 보는 것으로 중단기 변화에 해당한다.

성과평가는 유병률, 사망률, 삶의 질과 같은 건강 수준의 변화를 보는 것으로 장기 변화에 해당한다.

④ 도나베디안의 구분

도나베디안은 의료의 질을 구조, 과정, 결과의 세 측면으로 나누어 평가하도록 하였다.

구조는 서비스를 제공하는 여건이고 과정은 실제로 이루어지는 활동이며 결과는 그로 인한 변화다.

⑤ 핵심 요약표

수검률과 등록관리율, 참여 인원은 활동의 직접 결과이므로 산출 지표에 해당한다.

자원봉사 활동자 수는 투입에 해당한다.

사망률은 가장 장기간에 걸쳐 나타나는 결과 지표다.

(4) 평가 주체에 따른 유형

① 내부평가

내부평가는 프로그램을 수행한 기관이 스스로 실시하는 평가이며 자체평가라고도 한다.

사업의 배경과 사정을 잘 알고 있어 맥락을 반영한 평가가 가능하다.

비용이 적게 들고 결과를 곧바로 개선에 반영할 수 있다.

평가자가 이해당사자이므로 객관성이 떨어지고 결과를 좋게 해석할 수 있다.

② 외부평가

외부평가는 프로그램과 관련이 없는 외부의 전문가나 기관이 실시하는 평가다.

객관성과 전문성이 높아 결과의 신뢰도가 높다.

비용과 시간이 많이 들고 프로그램의 맥락을 충분히 반영하지 못할 수 있다.

③ 핵심 비교표

(1) 평가의 절차

① 절차

첫째, 평가의 목적과 범위를 정한다.

둘째, 목표에 근거하여 평가 지표를 선정한다.

셋째, 평가 설계를 정한다.

넷째, 자료 수집의 방법과 도구를 마련한다.

다섯째, 자료를 수집하고 분석한다.

여섯째, 결과를 해석하고 보고서를 작성한다.

일곱째, 결과를 공유하고 다음 프로그램에 반영한다.

② 평가 지표의 선정 기준

타당성은 그 지표가 재고자 하는 것을 실제로 재는지를 뜻한다.

신뢰성은 반복해서 재어도 같은 값이 나오는지를 뜻한다.

측정 가능성은 자료를 실제로 얻을 수 있는지를 뜻한다.

민감성은 프로그램으로 인한 변화를 지표가 잡아내는지를 뜻한다.

목표 달성률은 실적을 목표로 나눈 뒤 100을 곱하여 구한다.

목표가 측정할 수 있는 형태로 진술되어 있어야 달성률을 구할 수 있다.

(2) 평가 설계

① 두 가지 판별 축

평가 설계는 비교할 대조군이 있는지와 사전 측정을 하였는지 두 가지로 구분한다.

대조군은 프로그램을 받지 않은 비교 집단을 뜻한다.

② 원시실험설계

원시실험설계는 무작위 배정이 없고 비교가 충분하지 않은 설계이며 전실험설계라고도 한다.

단일군 사후조사 설계는 대조군 없이 프로그램을 받은 집단을 끝난 뒤에만 측정하는 설계다.

단일군 사전사후조사 설계는 대조군 없이 한 집단을 프로그램 전후에 측정하여 비교하는 설계다.

정태적 집단비교 설계는 무작위로 배정하지 않은 두 집단을 사전 측정 없이 끝난 뒤에만 비교하는 설계이며 비동등 대조군 사후조사 설계라고도 한다.

③ 유사실험설계

유사실험설계는 대조군은 있으나 무작위로 배정하지 않은 설계이며 준실험설계라고도 한다.

비동등 대조군 사전사후조사 설계는 무작위로 배정하지 않은 대조군을 두고 전후를 측정하는 설계다.

단순 시계열 설계는 한 집단을 프로그램 전후로 여러 시점에서 반복 측정하는 설계다.

복수 시계열 설계는 대조군을 함께 두고 여러 시점에서 반복 측정하는 설계다.

④ 순수실험설계

순수실험설계는 대상자를 무작위로 배정하여 대조군을 두는 설계이며 진실험설계라고도 한다.

통제군 사후조사 설계는 무작위로 배정한 뒤 사전 측정 없이 끝난 뒤에만 두 집단을 비교하는 설계다.

통제군 사전사후조사 설계는 무작위로 배정하여 대조군을 두고 전후를 측정하는 설계다.

솔로몬 4집단 설계는 사전 측정을 하는 두 집단과 하지 않는 두 집단을 두어 검사효과까지 확인하는 설계다.

무작위 배정을 하므로 두 집단의 조건이 비슷해져 인과관계를 가장 잘 확인할 수 있다.

⑤ 핵심 비교표

대조군이 없고 프로그램 전후를 한 번씩 측정하였다면 단일군 사전사후조사 설계다.

간호학 계열의 교재에서는 정태적 집단비교를 비동등성 대조군 사후설계라 하여 유사실험설계로 분류하기도 한다.

⑥ 내적 타당도를 위협하는 요인

역사는 프로그램 외에 다른 사건이 일어나 결과에 영향을 주는 것이다.

성숙은 시간이 지나면서 대상자가 자연히 변하는 것이다.

검사효과는 사전 검사를 받은 경험이 사후 검사에 영향을 주는 것이다.

측정도구의 변화는 측정 방법이나 도구가 달라져 결과가 달라지는 것이다.

통계적 회귀는 극단적인 값을 가진 대상자가 다시 측정하면 평균 쪽으로 돌아가는 것이다.

선택은 두 집단이 처음부터 달라서 결과에 차이가 나는 것이다.

탈락은 대상자가 도중에 빠져나가 남은 사람의 특성이 달라지는 것이다.

⑦ 외적 타당도를 위협하는 요인

외적 타당도는 평가 결과를 다른 집단이나 상황으로 일반화할 수 있는 정도다.

표본의 대표성이 낮으면 결과를 전체 집단으로 일반화하기 어렵다.

호손효과는 관찰을 받고 있다는 사실 자체가 대상자의 행동을 바꾸는 것이다.

사전 검사와 프로그램의 상호작용은 사전 검사를 받은 집단에서만 효과가 나타나게 하는 것이다.

대상자 선정과 프로그램의 상호작용은 특정 특성을 가진 집단에서만 효과가 나타나게 하는 것이다.

⑧ 분석 대상의 설정

탈락 편향은 중도에 그만둔 사람을 빼고 분석하여 효과가 실제보다 크게 나타나는 것이다.

배정 시점의 전체 대상자를 그대로 분석에 넣는 방식을 배정대로 분석이라 한다.

끝까지 참여한 사람만 분석하는 방식은 효과를 크게 보이게 할 수 있다.

(3) 경제성 평가

① 유형

비용편익분석은 비용과 편익을 모두 화폐 단위로 바꾸어 비교하는 방법이다.

비용효과분석은 비용은 화폐로, 효과는 수명 연장 연수나 발견한 환자 수와 같은 자연 단위로 두고 비교하는 방법이다.

비용효용분석은 효과를 삶의 질을 반영한 단위로 바꾸어 비교하는 방법이다.

② 핵심 비교표

(1) 결과의 해석

① 비교의 기준

평가 결과는 미리 정한 목표치와 견주어 해석한다.

사업을 시작하기 전의 값인 기저치와 견주어야 변화가 있었는지 알 수 있다.

전년도나 이전 시점의 값이 없으면 그 해의 값만으로는 좋아졌는지 나빠졌는지 판단할 수 없다.

변화의 폭이 같더라도 출발점인 기저치의 수준이 다르면 그 의미가 달라지므로 기저치를 함께 확인하여야 한다.

두 지역의 변화 폭이 같아도 각 지역의 이전 시점 값이 다르면 해석이 달라진다.

다른 지역이나 전국 평균과 견주면 상대적인 수준을 알 수 있다.

② 해석의 유의점

연령표준화율은 같은 표준인구를 적용하여 인구의 연령 구조 차이를 미리 보정한 값이다.

같은 표준인구로 산출한 연령표준화율끼리는 연령 구조의 차이가 이미 통제되어 있으므로 평균 연령을 다시 따질 필요가 없다.

표준인구가 서로 다르면 표준화율끼리도 곧바로 비교할 수 없다.

표준화율은 비교를 위하여 만든 값이므로 그 자체를 실제 발생 수준으로 읽어서는 안 된다.

통계적으로 유의한 차이라도 실제로 의미 있는 크기인지는 따로 판단하여야 한다.

프로그램 외의 다른 요인이 결과에 영향을 주었을 가능성을 함께 검토하여야 한다.

참여자만 분석하면 프로그램의 효과가 실제보다 크게 보일 수 있다.

(2) 평가보고서

① 구성

서론에는 평가의 배경과 목적, 필요성을 쓴다.

이론적 배경에는 관련된 이론과 선행 연구, 프로그램의 내용을 쓴다.

평가 방법에는 평가 설계, 평가 대상과 표본추출 방법, 측정 도구, 자료 수집 절차, 분석 방법을 쓴다.

평가 결과에는 분석한 결과를 표와 그림으로 제시한다.

논의 및 결론에는 결과의 해석과 제한점, 제언을 쓴다.

② 핵심 요약표

(3) 결과의 활용

① 활용 방법

평가 결과는 프로그램을 개선하는 근거로 쓴다.

평가 결과는 프로그램을 계속할지, 확대할지, 중단할지를 결정하는 근거로 쓴다.

평가 결과는 자원을 다시 배분하는 근거로 쓴다.

평가 결과는 대상자와 이해관계자, 재정 지원 기관에 보고하여 책무성을 밝히는 데 쓴다.

평가 결과는 다음 프로그램의 기획으로 돌아가 반영되며 이를 환류라고 한다.

② 결과의 공유

보고 대상에 따라 내용과 형식을 달리하여 전달한다.

실무자에게는 개선에 필요한 구체적인 내용을, 의사결정자에게는 요약된 성과를 전달한다.

주민에게는 이해하기 쉬운 말과 그림으로 전달한다.