병원 검색 콘텐츠의 월간 보고서에 ‘p값이 0.04이므로 제목 수정이 효과를 냈을 확률은 96%’라는 문장이 있다면 그대로 다음 달 편집의 근거로 쓰면 안 됩니다. p값에서 1을 빼거나 1에서 p값을 빼는 계산으로 원고의 성공 확률을 얻을 수는 없습니다. 이 글은 실제 병원의 분석 결과를 제시하는 것이 아니라, 통계 검정 수치가 들어 있는 보고서를 검수할 때 발견할 수 있는 해석 오류를 다룹니다.
미국통계학회의 p값 성명은 p값이 연구 가설이 참일 확률을 나타내지 않는다고 설명합니다. p값은 특정 통계 모형과 그 전제를 놓고 관찰된 자료가 얼마나 양립하기 어려운지 살피는 수치입니다. 통상적인 검정에서는 귀무가설 등 정해진 전제가 성립할 때, 선택한 검정 통계량에서 관찰값만큼 또는 더 극단적인 값이 나올 확률을 계산합니다. 이미 얻은 결과를 보고 ‘수정 효과라는 설명이 맞을 확률’을 바로 계산한 값과는 질문의 방향이 다릅니다.
가상의 보고에 적힌 0.04를 4%로 표시하는 것과 ‘효과가 없을 확률이 4%’라고 이름 붙이는 것은 다른 일입니다. 후자는 숫자의 표시 형식만 고친 것이 아니라 계산이 답하지 않은 확률을 새로 주장한 것입니다. 따라서 표에 p값을 그대로 보존하더라도 옆의 ‘성공 확률’ 열은 근거가 맞는지 다시 검토해야 합니다. 원고를 만든 도구가 백분율 그래프를 제공했다는 사실도 그 해석을 정당화하지 않습니다.
보고서를 받은 담당자는 어떤 차이를 어떤 방법으로 검정했는지 분석자에게 확인할 수 있습니다. 비교한 지표와 기간, 관찰 단위, 분석에서 둔 가정이 설명되어 있는지 봅니다. 클릭의 한 번과 서로 다른 방문자 한 명을 같은 단위로 간주했는지처럼 설계에 관한 질문도 분석자의 확인 대상입니다. 월별 숫자 두 개만 전달받은 편집자가 임의의 검정을 추가해 신뢰도가 생긴 것처럼 꾸미지 않습니다.
검정 방법이 적절하다고 확인되어도 p값 하나로 다음 편집안을 고를 수는 없습니다. 미국통계학회는 통계적 유의성이 효과의 크기나 결과의 중요성을 뜻하지 않는다고도 밝힙니다. 보고에는 실제 차이가 어느 정도였는지와 그 추정의 불확실성, 수정에 필요한 비용과 운영 목적을 따로 검토할 자료가 필요합니다. 작은 p값을 ‘많이 개선됐다’는 표현으로 바꾸거나, 큰 p값을 ‘두 안이 같다’는 확정으로 바꾸지 않습니다.
수정 전후를 비교한 자료라면 제목 외에 함께 바뀐 조건도 남겨야 합니다. p값을 계산했다는 이유만으로 시기 변화나 다른 홍보의 영향을 제거한 실험이 되는 것은 아닙니다. 실제 분석이 관찰 비교에 그쳤다면 보고서의 문장도 그 수준에 머물러야 합니다. 인과 효과를 주장하려면 그것을 뒷받침하는 설계와 분석에 대한 별도 검토가 있어야 합니다.
최종 편집에서는 수치 자체, 수치가 답하는 통계적 질문, 운영자가 내릴 결정을 나란히 읽습니다. 잘못된 ‘96% 성공’ 문장을 지운 뒤에도 왜 어떤 작업을 선택했는지 설명할 수 있어야 합니다. 분석 자료가 부족하면 해당 확률 표현과 결정을 보류하고 필요한 분석 설명을 요청합니다. 이는 성과를 낮춰 쓰는 일이 아니라, 계산하지 않은 확신을 보고서에 덧붙이지 않는 검수입니다.
근거 자료: American Statistical Association, Statement on Statistical Significance and P-Values 안내 https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf