다음 검정에서 정한 유의수준 0.05가 뜻하는 것으로 옳은 것은?

유의수준은 귀무가설이 참인데도 기각하는 잘못, 곧 제1종 오류를 얼마까지 감수할지 미리 정해 둔 기준이다. 0.05는 실제로 차이가 없는데 있다고 판정할 위험을 5%까지 허용한다는 뜻이다. 가설이 참일 확률을 나타내는 값이 아니며, 관찰된 차이의 크기와도 무관하다.

가설검정은 자료가 귀무가설과 얼마나 어긋나는지를 따져 판정을 내리는 절차입니다. 귀무가설은 보통 '차이가 없다' 또는 '효과가 없다'로 세우고, 대립가설은 그 반대로 세웁니다. 판정은 참과 거짓을 밝히는 것이 아니라 정해 둔 기준에 따라 귀무가설을 기각할지 말지를 정하는 일이라는 점을 먼저 붙잡으셔야 합니다.
판정에는 두 가지 잘못이 따라다닙니다. 제1종 오류는 귀무가설이 참인데도 기각하는 잘못, 곧 실제로는 차이가 없는데 있다고 판정하는 경우입니다. 제2종 오류는 귀무가설이 거짓인데도 기각하지 못하는 잘못, 곧 실제로는 차이가 있는데 없다고 판정하는 경우입니다.
유의수준은 제1종 오류를 얼마까지 감수할지 연구자가 자료를 보기 전에 미리 정해 두는 기준입니다. 유의수준을 0.05로 정했다면, 실제로 차이가 없는 상황에서 검정을 되풀이했을 때 스무 번에 한 번꼴로 차이가 있다는 잘못된 판정이 나오는 것을 받아들이겠다는 뜻입니다. 여기서 흔히 하는 오해가 두 가지 있습니다. 하나는 유의수준이나 유의확률을 '귀무가설이 참일 확률'로 읽는 것이고, 다른 하나는 '대립가설이 참일 확률'로 뒤집어 읽는 것입니다. 두 값 모두 가설이 참일 확률이 아니라 '귀무가설이 참이라고 가정했을 때 자료가 나올 가능성'에 관한 값입니다.
제1종 오류와 제2종 오류는 서로 맞물려 있습니다. 유의수준을 0.01로 낮추면 잘못 기각할 위험은 줄지만 실제 있는 차이를 놓칠 위험은 커집니다. 제2종 오류를 범하지 않을 확률을 검정력이라 부르며, 표본 수를 늘리면 유의수준을 그대로 두고도 검정력을 높일 수 있습니다. 그래서 연구 설계 단계에서 표본 수를 계산하는 것입니다.
임상에서 주의할 점은 통계적 유의성과 임상적 의미를 구분하는 것입니다. 표본이 아주 크면 금연율이 1%포인트만 달라도 통계적으로 유의하게 나올 수 있지만, 사업을 계속할지 판단할 때는 그 차이가 현장에서 의미 있는 크기인지를 함께 보아야 합니다. 그래서 유의성 판정과 함께 차이의 크기와 신뢰구간을 반드시 같이 보고하셔야 합니다.