초기 대응 단계에서 소방서비스 성과를 평가할 때, 평가 지표의
타당도(validity)는 해당 지표가 측정하려는 성과를 실제로 반영하는 정도를 의미한다. 병원전 응급의료체계에서 성과 측정은 단순히 출동시간(response time interval) 같은 대리 지표(surrogate endpoint)만으로 평가되어 온 역사가 있으나, 이는 실제 임상적 성과나 서비스 질을 온전히 반영하지 못한다는 한계가 지적되어 왔다
[1][2]. 따라서 초기 대응 단계에서 소방서비스 성과를 평가하고자 한다면,
선택한 지표가 평가하고자 하는 소방서비스 성과의 개념을 실제로 측정하고 있는지, 즉 내용 타당도(content validity)와 구성 타당도(construct validity)를 확보했는지가 우선 판단 기준이 되어야 한다.
평가 지표의 타당성이 중요한 이유는 소방서비스 성과가 단일 차원이 아니기 때문이다. 병원전 응급의료의 질 지표는 응답 단계의 수행도, 임상적 처치의 적절성, 환자 예후, 자원 운영 효율성 등 서로 다른 측면을 포괄한다
[3][4].
혼동 주의! 보기 2번의 '속도·안전·품질처럼 서로 다른 성과가 함께 존재한다'는 성과의 다차원성(multidimensionality)을 설명하는 것이지, 타당성의 정의 자체는 아니다. 타당성은 '측정하려는 것을 제대로 측정하고 있는가'의 문제이며, 다차원성은 타당성을 고려해야 하는 이유 중 하나일 뿐이다.
또한 보기 1번의 '개선 전 상태와 비교해 변화의 크기를 판단'하는 것은
반응성(responsiveness) 또는
민감도(sensitivity to change)에 가까운 개념이고, 보기 4번의 '화재 사망자 감소나 재산피해 감소'는
결과 지표(outcome indicator), 보기 5번의 '점검 완료율이나 출동시간 준수율'은
과정 지표(process indicator)에 해당한다. 이들은 모두 성과 평가 체계의 구성 요소이지만, 타당성의 정의를 묻는 질문에 대한 직접적인 답은 아니다.
병원전 응급의료 질 평가에서 지표 개발은 전문가 합의 과정을 통해 이루어지며, 이때 핵심은 각 지표가 측정 대상 개념을 정확히 반영하는지에 대한 타당성 검토이다
[4].
타당도가 낮은 지표는 아무리 측정이 용이하고 신뢰도가 높더라도 소방서비스 성과 평가 도구로서 의미를 상실한다. 예를 들어 출동시간 단축이 반드시 환자 예후 개선으로 이어지지 않는다는 근거가 축적되면서, 출동시간만으로 소방서비스 성과를 평가하는 방식의 타당성에 의문이 제기되었다
[1][2]. 따라서 초기 대응 단계에서 소방서비스 성과 관점의 우선 조치는 측정 도구의 타당성을 확보하는 것이며, 이는 곧 '측정하려는 소방서비스 성과를 실제로 반영하는 정도'를 평가 기준으로 삼는 것을 의미한다.
참고 문헌 (논문 출처)
- [1]
Quality Indicators for Evaluating Prehospital Emergency Care: A Scoping Review.일반논문Howard I, Cameron P, Wallis L, Castren M, Lindstrom V (2018) · DOI: 10.1017/S1049023X17007014
- [2]
Measuring quality and effectiveness of prehospital EMS.일반논문Moore L (1999) · DOI: 10.1080/10903129908958963
- [3]
Quality measurement in physician-staffed emergency medical services: a systematic literature review.일반논문Haugland H, Uleberg O, Klepstad P, Krüger A, Rehn M (2019) · DOI: 10.1093/intqhc/mzy106
- [4]
Developing quality indicators for physician-staffed emergency medical services: a consensus process.가이드라인Haugland H, Rehn M, Klepstad P, Krüger A, EQUIPE-collaboration group (2017) · DOI: 10.1186/s13049-017-0362-4