통계적 유의성과 임상적 중요성은 서로 다른 개념입니다. 연구에서
p값이
0.05 미만으로 확인되어 통계적으로 유의하다고 해서, 그 결과가 반드시 임상적으로 의미 있는 크기의 효과를 가진 것은 아닙니다. 이 문제의 핵심은
통계적 유의성은 효과의 존재 가능성을 말해줄 뿐, 효과의 크기나 실제 중요성을 말해주지는 않는다는 점입니다.
통계적 유의성과 임상적 관련성의 차이
p값은 귀무가설(null hypothesis)이 참일 때 관찰된 데이터 이상의 극단적인 결과가 나올 확률을 나타냅니다. 즉, p값은 “효과가 없다”는 가정 하에서 현재 결과가 얼마나 놀라운지를 보여주는 지표입니다. 그러나 p값은 효과의 크기(magnitude)에 대한 정보를 제공하지 않습니다. 표본 수가 매우 크면 아주 작은 차이도 통계적으로 유의하게 나올 수 있기 때문입니다
[1][3].
반면
효과크기(effect size)는 처치 효과나 변수 간 연관성의 실제 크기를 정량화합니다. 평균 차이, 위험비(risk ratio), 오즈비(odds ratio), 상관계수 등
70가지 이상의 효과크기 지표가 문헌에 보고되어 있습니다
[3]. 효과크기가 작다는 것은 통계적으로 유의한 차이가 존재하더라도 실제 환자에게 미치는 영향이 미미할 수 있음을 의미합니다.
신뢰구간의 역할
신뢰구간(confidence interval, CI)은 효과크기 추정치의 정밀도(precision)를 보여줍니다. 신뢰구간이 좁으면 추정치가 정밀하다는 뜻이고, 넓으면 불확실성이 크다는 뜻입니다.
효과크기와 신뢰구간을 함께 살펴봐야 실제 임상적 중요성을 판단할 수 있습니다. 예를 들어, 신뢰구간이 임상적으로 의미 있는 최소 효과의 기준선(최소 중요 차이, minimal clinically important difference)을 포함하는지 여부가 중요합니다. 신뢰구간이 좁으면서 그 범위 전체가 임상적으로 무시할 만한 수준에 머문다면, 통계적으로 유의하더라도 임상적 의미는 제한적입니다
[3][4].
보기별 해설
| 보기 | 판단 | 근거 |
|---|
| 1. 유의하면 항상 임상효과가 크다 | 오답 | 통계적 유의성은 효과 크기를 보장하지 않으며, 큰 표본에서는 작은 효과도 유의하게 나올 수 있습니다[1][4]. |
| 2. p값만으로 원인관계가 확정된다 | 오답 | p값은 원인관계(causation)를 확정하지 않으며, 연구 설계와 교란변수 통제 등이 필요합니다[2]. |
| 3. 실제 중요성은 효과크기와 신뢰구간도 함께 본다 | 정답 | 효과크기는 효과의 크기를, 신뢰구간은 추정의 정밀도를 제공하므로 임상적 중요성 판단에 필수적입니다[3][4]. |
| 4. 표본 수는 해석과 무관하다 | 오답 | 표본 수가 크면 작은 차이도 유의해지고, 작으면 실제 효과가 있어도 유의하지 않을 수 있어 해석에 직접 영향을 줍니다[4]. |
| 5. 신뢰구간은 볼 필요가 없다 | 오답 | 신뢰구간은 효과 추정치의 불확실성과 정밀도를 보여주므로 반드시 함께 해석해야 합니다[3]. |
임상 적용 관점
치과위생사가 근거기반 실무(evidence-based practice)를 수행할 때, 논문을 읽고 중재법의 효과를 판단해야 하는 상황이 자주 있습니다. 예를 들어 새로운 구강보건교육 프로그램이 치은출혈 지수를 유의하게 감소시켰다는 연구를 접했다고 가정합니다. p값이
0.05 미만이라면 통계적으로 유의하지만, 치은출혈 지수의 평균 감소량이
0.2점에 불과하고 신뢰구간이
0.1~0.3으로 좁다면, 이는 임상적으로 의미 있는 개선이라고 보기 어려울 수 있습니다. 반대로 효과크기는 크지만 신뢰구간이 매우 넓다면(예:
-0.5~3.5), 추정치의 불확실성이 크므로 추가 연구가 필요하다고 판단해야 합니다.
혼동 주의! p값이 작다고 해서 효과가 크다고 해석하는 것은 가장 흔한 통계적 오류 중 하나입니다. 미국통계학회(ASA)는 p값의 오용과 잘못된 해석에 대해 공식 성명을 발표한 바 있습니다
[2].
핵심! 연구 결과를 해석할 때는 p값, 효과크기, 신뢰구간을 함께 고려하고, 해당 효과가 임상적으로 의미 있는 최소 기준을 넘는지 판단해야 합니다
[1][3][4].
참고 문헌 (논문 출처)
- [1]
Statistical Significance versus Clinical Relevance: Key Considerations in Interpretation Medical Research Data.일반논문AbdulRaheem Y (2024) · DOI: 10.4103/ijcm.ijcm_601_23
- [2]
Statistical significance versus clinical relevance.일반논문van Rijn MHC, Bech A, Bouyer J, van den Brand JAJG (2017) · DOI: 10.1093/ndt/gfw385
- [3]
Statistical Significance Versus Clinical Importance of Observed Effect Sizes: What Do P Values and Confidence Intervals Really Represent?일반논문Schober P, Bossers SM, Schwarte LA. (2018) · DOI: 10.1213/ane.0000000000002798
- [4]
Lies, damned lies and statistics: Clinical importance versus statistical significance in research.일반논문Mellis C (2018) · DOI: 10.1016/j.prrv.2017.02.002