표본 크기 결정은 양적연구의 신뢰성과 타당성을 확보하는 핵심 요소로, 통계적 검정력과 연구 결과의 일반화 가능성에 직접적인 영향을 미친다.
표본 크기 결정 시 고려해야 할 주요 요소들은 다음과 같다. 첫째, 효과 크기(effect size)는 연구에서 발견하고자 하는 실제 효과의 크기를 의미하며, 효과 크기가 클수록 작은 표본으로도 통계적 유의성을 검출할 수 있다. 둘째, 유의수준(α)은 제1종 오류를 범할 확률로, 일반적으로 0.05로 설정하며, 더 엄격한 기준을 적용할수록 더 큰 표본이 필요하다.
셋째, 검정력(power)은 실제 효과가 존재할 때 이를 올바르게 검출할 확률로, 일반적으로 0.80 이상을 권장한다. 검정력이 높을수록 더 큰 표본이 필요하다. 넷째, 연구설계 유형에 따라 필요한 표본 크기가 달라지는데, 실험연구는 상관관계 연구보다 일반적으로 더 작은 표본으로도 충분할 수 있다.
간호연구에서 표본 크기가 너무 작으면 통계적 검정력이 부족하여 실제 존재하는 효과를 발견하지 못할 위험(제2종 오류)이 증가한다. 반대로 표본 크기가 너무 크면 연구 비용과 시간이 과도하게 소요되고, 임상적으로 의미 없는 작은 차이도 통계적으로 유의하게 나타날 수 있다.
실제 간호연구에서는 G*Power와 같은 통계 프로그램을 사용하여 사전 검정력 분석(a priori power analysis)을 실시하여 적절한 표본 크기를 계산한다. 이는 연구의 과학적 엄밀성을 보장하고 연구 자원을 효율적으로 활용하는 데 필수적이다.
중환자실에서 근무하는 김 간호사는 석사학위 논문으로 중환자실 간호사의 직무 스트레스와 번아웃 간의 관계를 조사하는 상관관계 연구를 계획하고 있다.
선행연구 검토 결과, 직무 스트레스와 번아웃 간의 상관계수는 대략 0.5 정도로 보고되었다. 김 간호사는 이를 바탕으로 중간 정도의 효과 크기(r=0.5)를 예상하고, 유의수준 0.05, 검정력 0.80을 설정하여 G*Power 프로그램을 사용해 표본 크기를 계산했다.
계산 결과 최소 28명의 참여자가 필요하다고 나왔지만, 탈락률 20%를 고려하여 35명을 목표로 설정했다. 또한 중환자실이라는 특수한 근무 환경과 3교대 근무 특성을 고려하여 다양한 근무 시간대의 간호사들이 포함될 수 있도록 표집 계획을 수립했다.
연구윤리 측면에서도 적절한 표본 크기 결정은 중요하다. 너무 작은 표본으로 인해 의미 있는 결과를 얻지 못한다면 참여자들의 시간과 노력이 낭비되고, 너무 큰 표본은 불필요한 부담을 주게 된다.
효과 크기(Effect Size) — 연구에서 발견하고자 하는 실제 효과의 크기를 나타내는 지표로, Cohen's d, 상관계수 r, 결정계수 R² 등으로 표현되며, 작은 효과(0.2), 중간 효과(0.5), 큰 효과(0.8)로 분류된다.
검정력(Statistical Power) — 실제 효과가 존재할 때 이를 올바르게 검출할 확률로, 1-β(베타)로 표현되며, 일반적으로 0.80 이상을 권장한다. 제2종 오류를 범할 확률과 반비례 관계에 있다.
사전 검정력 분석(A Priori Power Analysis) — 연구 시작 전에 적절한 표본 크기를 결정하기 위해 실시하는 통계적 분석으로, 효과 크기, 유의수준, 검정력을 설정하여 필요한 최소 표본 크기를 계산한다.
제1종 오류(Type I Error) — 실제로는 효과가 없는데 효과가 있다고 잘못 결론내리는 오류로, 유의수준(α)으로 표현되며, 일반적으로 0.05로 설정한다. 거짓 양성(false positive)이라고도 한다.
제2종 오류(Type II Error) — 실제로는 효과가 있는데 효과가 없다고 잘못 결론내리는 오류로, β(베타)로 표현되며, 표본 크기가 작을 때 발생할 가능성이 높다. 거짓 음성(false negative)이라고도 한다.