건수가 적으면 비율이 크게 흔들립니다
고객 설문이나 문의 기록을 모아 보면 몇 건만으로도 눈에 띄는 차이가 나타납니다. 한쪽이 훨씬 많아 보이면 그것이 전체의 경향이라고 말하고 싶어집니다. 그러나 자료가 적을 때는 한두 건의 변화만으로도 비율이 크게 달라집니다. 열 건 중 한 건이 늘면 비율은 십 퍼센트포인트나 움직입니다.
그래서 작은 자료를 읽을 때는 비율보다 먼저 몇 건을 세었는지, 어떤 기간에 어떤 방법으로 모았는지를 확인합니다. 이 두 가지가 빠진 비율은 해석의 근거가 되기 어렵습니다. 예를 들어 지난달과 이번 달의 만족 응답 비율을 비교하더라도, 응답자 수가 각각 여덟 명과 열두 명이라면 그 차이는 우연으로도 충분히 생길 수 있는 범위입니다.
비율 옆에 실제 건수를 함께 씁니다
다섯 명 중 네 명이 같은 답을 했다면 팔십 퍼센트라는 표기만으로는 규모를 짐작하기 어렵습니다. 보고서에는 비율과 함께 실제 응답자 수, 조사 기간, 질문 문구를 나란히 적습니다. 읽는 사람이 규모를 바로 알아야 숫자를 과하게 받아들이지 않습니다. 회의 자료에서 비율만 발췌되어 돌아다니는 일이 잦으므로, 표 한 칸마다 건수가 따라붙도록 서식을 정해 두면 도움이 됩니다.
표를 만들 때도 같은 원칙을 지킵니다. 분모가 서로 다른 비율을 나란히 놓는다면 각 집단의 건수를 병기하고, 중복 선택이 가능했는지, 무응답은 어떻게 처리했는지도 표 아래에 짧게 설명합니다.
누가 답했는지를 먼저 묻습니다
자료의 해석은 누가 답했는지에 크게 좌우됩니다. 의견을 스스로 남긴 사람만 포함되었다면 불만이나 호감이 유난히 강한 사람이 많을 수 있습니다. 특정 채널이나 특정 시간대에서만 모은 자료라면 그 채널을 쓰는 사람의 특성이 섞여 있습니다.
응답하지 않은 사람의 생각까지 이미 조사한 것처럼 추정하지 않습니다. 모은 범위가 좁았다면 결론의 범위도 그만큼 좁혀서 쓰는 것이 정확합니다. 문의 기록처럼 운영 중에 쌓인 자료도 마찬가지입니다. 상담이 가능한 시간대에 걸려 온 전화만 남아 있다면 야간이나 주말에 느낀 불편은 처음부터 자료에 들어올 수 없습니다.
비교하는 두 집단의 조건을 맞춰 봅니다
두 집단을 비교할 때는 차이가 서비스나 콘텐츠 때문인지, 집단 자체의 성격 때문인지 구분해야 합니다. 최근에 이용을 시작한 사람과 오래 이용한 사람을 비교하면 이용 기간의 차이가 결과를 만들었을 수 있습니다. 질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면 시간 순서대로 이어 붙여 해석하기도 어렵습니다.
조건이 다른 비교는 순위를 매기기보다 관찰된 패턴으로 적고, 아직 확인하지 못한 질문을 함께 남기는 편이 안전합니다. 비교 항목이 여러 개일수록 우연히 눈에 띄는 차이가 하나쯤 나올 가능성도 커지므로, 보고 싶었던 비교를 미리 정해 두고 나머지는 참고로만 다루는 습관이 필요합니다.
그래프는 과장하지 않습니다
작은 자료를 그래프로 그리면 두 건과 세 건의 차이가 막대 길이로는 크게 보이기 쉽습니다. 축의 시작점을 잘라 차이를 키우거나 단위를 생략하면 읽는 사람이 규모를 오해합니다. 축의 범위와 단위를 분명히 하고, 건수가 적다는 사실을 제목이나 주석에 드러냅니다.
색이나 순서로 특정 항목만 강조하는 것도 조심합니다. 값이 높은 항목부터 정렬하면 순위가 확정된 것처럼 보이므로, 건수가 비슷한 항목은 같은 묶음으로 표시하는 방법도 있습니다. 강조가 필요하다면 강조한 이유를 한 줄로 설명해 두는 것이 좋습니다.
결론에는 자료의 범위를 다시 적습니다
결론 문장에서는 이번에 확인한 범위를 다시 밝힙니다. 이번에 모은 응답에서는 이런 경향이 보였다고 말할 수는 있어도 모든 고객이 그렇다고 단정할 근거는 부족합니다. 추가로 조사한다면 어떤 집단과 어느 기간을 보완할지도 구체적으로 적어 둡니다.
질문지와 포함 기준을 보관해 두는 일도 중요합니다. 다음 조사에서 같은 조건을 적용하면 변화가 자료의 차이에서 온 것인지 방법의 차이에서 온 것인지 나누어 볼 수 있습니다. 표본이 작다고 버리기보다 한계를 기록해 현장에서 발견한 질문을 다음 확인으로 넘기는 방식이 의사결정에 더 도움이 됩니다.