다음 검정 결과에서 p값이 뜻하는 바로 옳은 것은?

p값 0.02는 두 지역의 흡연율이 같다고 가정했을 때 관찰된 정도의 차이가 우연히 나타날 확률이 2%라는 뜻이므로, 차이를 우연으로 보기 어렵다고 해석한다. 유의수준 0.05보다 작아 귀무가설을 기각할 뿐 가설이 참임을 증명한 것은 아니다. 통계적 유의성이 곧 실질적 중요성을 뜻하지도 않는다.

정답이 1번인 이유는 p값이 두 지역의 흡연율에 차이가 없다고 가정했을 때 지금 관찰된 정도의 차이가 우연히 나타날 확률을 뜻하기 때문입니다. p가 0.02라는 것은 그 확률이 2%라는 말이므로, 흔히 쓰는 유의수준 0.05보다 작아 이 차이를 우연으로 설명하기는 어렵다고 해석합니다.
통계적 검정의 구조를 짚어 두면 이해가 쉬워집니다. 먼저 두 지역의 흡연율이 같다는 귀무가설을 세웁니다. 그다음 실제 자료에서 관찰된 차이가 이 가정 아래에서 얼마나 드문 일인지를 계산한 값이 p값입니다. p값이 미리 정한 유의수준보다 작으면 귀무가설을 기각하고, 차이가 있다고 판단합니다. 여기서 기각한다는 말은 같다는 가설을 받아들이기 어렵다는 뜻이지, 다르다는 사실을 증명했다는 뜻이 아닙니다.
가장 흔한 오해가 2번입니다. p값은 가설이 참인지 거짓인지를 증명하지 못합니다. 통계는 언제나 확률로 말하므로 5%의 유의수준을 쓴다면 실제로는 차이가 없는데도 있다고 잘못 판단할 위험이 남아 있습니다. 이를 제1종 오류라고 부릅니다. 반대로 실제로 차이가 있는데 없다고 판단하는 것이 제2종 오류입니다.
또 하나 자주 걸리는 오해는 통계적 유의성과 실질적 중요성을 같은 말로 읽는 3번입니다. p값은 차이가 우연인지 아닌지만 말해 줄 뿐 그 차이가 얼마나 큰지, 현장에서 의미가 있는지는 말해 주지 않습니다. 그래서 p값과 함께 차이의 크기와 신뢰구간을 보아야 합니다. 표본이 커지면 아주 작은 차이도 유의하게 나올 수 있는데, 이는 4번이 왜 틀렸는지도 설명해 줍니다. 표본이 커진다고 차이가 사라지는 것이 아니라 오히려 작은 차이까지 유의하게 잡힙니다.
5번은 통계 결과를 건강 영향에 대한 판단으로 넘겨 읽은 것입니다. 흡연율이 높다는 사실과 그 지역의 흡연이 더 해롭다는 말은 전혀 다른 진술입니다. 검정이 답해 준 것은 두 숫자의 차이가 우연인지뿐입니다.
보고서를 읽을 때는 p값만 보지 말고 표본 수, 차이의 크기, 신뢰구간을 함께 확인하는 습관을 들이는 것이 좋습니다.
마지막으로 지역 자료를 비교할 때 한 가지 더 확인할 것이 있습니다. 두 지역의 연령 구조가 다르면 흡연율 차이가 연령 차이에서 올 수도 있습니다. 그래서 지역 간 비교에서는 연령을 보정한 값을 함께 보고, 보정하지 않은 수치만으로 어느 지역이 더 나쁘다고 말하지 않는 태도가 필요합니다.