컨텐츠 내용을 수정할 수 있습니다
연구자가 독립변수를 직접 조작하고, 대상을 실험군과 대조군으로 나눈 뒤, 두 집단의 차이를 비교한다.
대상을 무작위로 배정하면 알려지지 않은 요인들까지 두 집단에 고르게 흩어지므로 인과관계를 가장 잘 확인할 수 있다.
사전사후 통제집단 설계는 두 집단 모두에게 사전과 사후를 측정해 변화량을 비교한다.
사후 통제집단 설계는 사전검사가 결과에 영향을 줄 우려가 있을 때 사후만 측정한다.
보건 분야에서는 필요한 교육을 일부러 제공하지 않는 것이 윤리적으로 문제가 되어 무작위 배정이 어려운 경우가 많다.
이때는 대조군에게 시기를 늦추어 같은 교육을 제공하는 방식으로 절충한다.
무작위 배정을 하지 못한 채 실험군과 비교군을 두는 설계다.
이미 존재하는 두 지역이나 두 학급을 비교하는 경우가 여기에 해당하며, 두 집단이 애초에 달랐을 가능성을 감안해 해석한다.
표본을 뽑아 설문이나 면접으로 자료를 모아 모집단의 특성을 추정한다.
넓은 범위를 다룰 수 있고 비용이 상대적으로 적지만, 응답에 의존하므로 기억의 왜곡과 사회적으로 바람직하게 답하려는 경향이 개입한다.
| 설계 | 내용 | 특징 |
|---|---|---|
| 단면조사 | 한 시점에서 노출과 질병을 함께 조사함 | 빠르고 저렴하나 선후를 알 수 없음 |
| 환자대조군연구 | 질병이 있는 군과 없는 군의 과거 노출을 비교함 | 드문 질병에 유리하나 회상 편향이 있음 |
| 코호트연구 | 노출군과 비노출군을 추적해 질병 발생을 비교함 | 선후가 분명하나 시간과 비용이 큼 |
관찰된 결과가 정말 그 개입 때문인지에 관한 것이다.
연구 기간에 일어난 외부 사건, 대상자의 자연스러운 성숙, 사전검사의 영향, 측정 도구의 변화, 탈락, 극단값이 평균으로 돌아가는 경향이 내적타당도를 위협한다.
결과를 다른 대상과 상황에 일반화할 수 있는지에 관한 것이다.
참여 의사가 있는 사람만 모아 얻은 결과를 전체 주민에게 그대로 적용하기 어려운 것이 대표적인 제약이다.
통제를 강화하면 내적타당도는 올라가지만 현실과 멀어져 외적타당도가 떨어지는 긴장 관계가 있다.
| 용어 | 내용 |
|---|---|
| 모집단 | 연구자가 알고자 하는 전체 집단 |
| 표본틀 | 표본을 뽑기 위해 만든 모집단의 목록 |
| 표본 | 실제로 조사한 일부 |
| 표본추출단위 | 뽑는 단위. 개인일 수도 가구나 학급일 수도 있음 |
표본틀이 모집단을 제대로 담지 못하면 아무리 잘 뽑아도 결과가 치우친다. 전화번호부로 표본을 뽑으면 등재되지 않은 사람이 처음부터 빠진다.
| 방법 | 내용 |
|---|---|
| 단순무작위추출 | 모든 대상이 뽑힐 확률이 같도록 무작위로 뽑음 |
| 계통추출 | 첫 번째만 무작위로 정하고 이후 일정 간격으로 뽑음 |
| 층화추출 | 모집단을 성별·연령 같은 기준으로 나눈 뒤 각 층에서 뽑음 |
| 집락추출 | 지역이나 학교 같은 집단을 먼저 뽑고 그 안을 조사함 |
층화추출은 층 안이 비슷하고 층끼리 다를수록 효율이 높다. 집락추출은 반대로 집락 안이 다양할수록 좋다.
계통추출은 목록에 주기적인 규칙이 있으면 편향이 생긴다. 아파트 목록이 동별로 반복되는 경우가 그렇다.
확률표본추출을 해야 표본오차를 계산할 수 있고 결과를 모집단으로 일반화할 수 있다.
| 방법 | 내용 |
|---|---|
| 편의추출 | 접근하기 쉬운 대상을 뽑음 |
| 판단추출 | 연구자가 적합하다고 판단한 대상을 뽑음 |
| 할당추출 | 특성별 비율을 정해 놓고 그만큼 채움 |
| 눈덩이추출 | 대상자에게 다른 대상자를 소개받아 늘려 감 |
비확률표본추출은 빠르고 저렴하지만 일반화가 어렵다. 접근하기 어려운 집단을 다루는 탐색적 연구에는 눈덩이추출이 유용하다.
필요한 표본 크기는 모집단의 이질성, 원하는 정밀도, 유의수준과 검정력, 분석 방법에 따라 정해진다.
표본이 클수록 표본오차는 줄지만 무한정 줄지는 않으며 비용은 계속 늘어난다.
표본이 커도 표본틀이 잘못됐거나 무응답이 많으면 정확도가 올라가지 않는다. 크기보다 대표성이 먼저다.
표본오차는 전체가 아니라 일부만 조사해서 생기는 오차이며 표본 크기를 늘려 줄일 수 있다.
비표본오차는 설문 문항의 결함, 면접원의 실수, 무응답, 입력 오류처럼 조사 과정에서 생기는 오차로, 표본을 늘려도 줄지 않는다.
실제 조사에서는 비표본오차가 더 큰 문제인 경우가 많다.
| 수준 | 내용 | 예 |
|---|---|---|
| 명목척도 | 구분만 함. 순서 없음 | 성별, 혈액형, 거주지역 |
| 서열척도 | 순서는 있으나 간격이 일정하지 않음 | 만족도 순위, 교육 수준 |
| 등간척도 | 간격이 일정하나 절대영점이 없음 | 섭씨온도, 지능지수 |
| 비율척도 | 간격이 일정하고 절대영점이 있음 | 체중, 나이, 소득, 흡연량 |
측정 수준이 높을수록 쓸 수 있는 통계 방법이 많아진다. 높은 수준을 낮은 수준으로 바꿀 수는 있지만 그 반대는 불가능하므로, 수집할 때는 가능한 한 높은 수준으로 재 둔다.
나이를 연령대로 묶어 받으면 평균을 낼 수 없다. 만 나이로 받아 두면 나중에 얼마든지 묶을 수 있다.
리커트 척도는 진술에 대한 동의 정도를 여러 단계로 표시하게 하며 태도 측정에 가장 널리 쓰인다.
의미분화 척도는 양쪽 끝에 상반된 형용사를 두고 그 사이에서 선택하게 한다.
거트만 척도는 문항이 난이도 순으로 배열돼 있어 어려운 문항에 동의하면 쉬운 문항에도 동의하는 구조를 가진다.
같은 대상을 반복해 재도 비슷한 값이 나오는 정도, 곧 일관성을 말한다.
| 방법 | 내용 |
|---|---|
| 검사·재검사 | 같은 대상에게 시간을 두고 두 번 재어 비교함 |
| 동형검사 | 내용이 같은 두 형태의 도구를 만들어 비교함 |
| 반분법 | 문항을 반으로 나누어 두 점수의 상관을 봄 |
| 내적일관성 | 문항들이 같은 것을 재고 있는지를 계수로 확인함 |
| 조사자 간 신뢰도 | 여러 관찰자의 결과가 일치하는 정도를 봄 |
내적일관성 계수는 보통 0.7 이상이면 수용할 만하다고 본다.
재려고 한 것을 실제로 재고 있는지의 정도다.
내용타당도는 문항이 측정하려는 영역을 고르게 담고 있는지를 전문가가 판단한다.
기준타당도는 이미 인정받은 다른 측정과 비교해 확인하며, 같은 시점에 비교하면 동시타당도, 미래의 결과를 얼마나 맞히는지 보면 예측타당도다.
구성타당도는 이론에서 기대되는 관계가 실제로 나타나는지를 확인한다. 관련 있어야 할 것과는 높은 상관을, 관련 없어야 할 것과는 낮은 상관을 보여야 한다.
타당하려면 반드시 신뢰로워야 하지만, 신뢰롭다고 타당한 것은 아니다.
저울의 눈금이 항상 3킬로그램씩 더 나온다면 값은 일관되므로 신뢰도는 높지만 참값을 재지 못하므로 타당도는 낮다.
체계적 오류는 한쪽 방향으로 일정하게 치우치는 오류로 타당도를 떨어뜨린다. 사회적으로 바람직하게 답하려는 경향이 대표적이다.
무작위 오류는 방향 없이 흩어지는 오류로 신뢰도를 떨어뜨린다. 응답 당시의 피로나 주변 소음이 원인이 된다.
체계적 오류는 표본을 늘려도 사라지지 않으므로 도구를 고쳐야 한다.
이미 신뢰도와 타당도가 확인된 도구가 있으면 새로 만들지 않고 가져다 쓴다. 다른 연구와 결과를 비교할 수 있다는 이점도 크다.
사용 허락이 필요한 도구인지 확인하고, 번역해 쓸 때는 원문의 뜻이 그대로 옮겨졌는지 검증 절차를 거친다.
측정하려는 개념을 명확히 규정하고 하위 영역을 나눈 뒤 영역마다 문항을 만든다.
전문가에게 내용타당도를 검토받고, 소수를 대상으로 예비조사를 해 문항을 다듬은 다음, 본조사 자료로 신뢰도와 구성타당도를 확인한다.
도구 개발은 그 자체로 하나의 연구이므로 일정과 자원을 따로 잡아야 한다.
연구 질문이 무엇을 묻는지가 첫 기준이다. 실태를 알고 싶으면 조사연구가, 효과를 확인하고 싶으면 실험이나 유사실험이 맞는다.
확보할 수 있는 기간과 예산, 대상자에게 접근할 수 있는 경로, 윤리적 제약을 함께 고려한다.
가장 엄밀한 설계를 무리하게 시도하다 중도에 무너지는 것보다, 여건에 맞는 설계를 제대로 수행하고 한계를 밝히는 편이 낫다.
응답한 사람과 하지 않은 사람이 체계적으로 다르면 결과가 치우친다.
건강에 관심이 많은 사람만 응답하면 지역의 건강 수준이 실제보다 좋게 나타난다.
설문을 짧게 만들고, 조사의 목적과 결과의 쓰임을 미리 알리며, 응답하기 편한 시간과 방법을 고른다.
일정 기간이 지나면 다시 안내하고, 여러 경로를 병행해 접근한다.
응답률을 보고하고, 응답자와 전체 모집단의 성별과 연령 분포를 비교해 얼마나 치우쳤는지 밝힌다.
면접이나 관찰을 여러 사람이 수행하면 사람마다 방식이 달라져 자료의 일관성이 떨어진다.
공통 지침을 만들고 사전 교육과 모의 실습을 거치며, 조사 초반에 수집된 자료를 점검해 편차를 바로잡는다.
조사 중 예상하지 못한 상황이 생기면 각자 판단하지 않고 연락해 같은 기준으로 처리하도록 한다.
연구 질문을 정하기 전에 설문지부터 만드는 경우가 흔하다. 그러면 묻고 싶은 것을 다 넣게 되어 설문이 길어지고 응답률이 떨어진다.
표본을 어떻게 뽑을지 정하지 않은 채 접근하기 쉬운 사람부터 조사하면 나중에 결과를 일반화할 수 없다.
측정 도구의 신뢰도와 타당도를 확인하지 않고 임의로 만든 문항을 쓰면 무엇을 잰 것인지 설명할 수 없다.
분석 방법을 정하지 않고 자료를 모으면 필요한 변수를 빠뜨리거나 분석할 수 없는 형태로 수집하게 된다.
이 네 가지는 모두 자료를 모은 뒤에는 되돌릴 수 없다. 설계에 시간을 들이는 일이 결국 가장 빠른 길이다.
정리하면 조사설계는 무엇을 어떻게 볼 것인지를 미리 정하는 일이다. 어떤 방식으로 자료를 얻을지, 누구를 대상으로 삼을지, 무엇을 어떤 수준으로 잴지 이 세 가지가 설계의 뼈대이며 셋 중 하나만 어긋나도 결과 전체가 흔들린다.
특히 표본추출과 측정은 자료를 모은 뒤에 고칠 수 없다. 설계 단계에서 시간을 들여야 하는 이유가 여기에 있다.
끝으로 완벽한 설계는 없다. 어떤 설계든 한계가 있으므로 그 한계를 알고 결과를 그만큼만 주장하는 태도가 설계의 정교함보다 중요할 때가 많다.
설계의 좋고 나쁨은 얼마나 복잡한가가 아니라 연구 질문에 답할 수 있는가로 판단한다.
다음 이론을 계속 학습하려면 로그인하세요.
로그인하고 계속 학습필기노트, 하이라이터, 메모는 잘 쓰고 있어?
내보내줘운영진이 검토할게요!
마이페이지에서 차단한 회원을 관리할 수 있어요.