몇 건의 차이가 크게 보이는 이유
설문이나 문의 기록에서 몇 건만 모여도 뚜렷한 차이가 보이면 그것을 전체의 특성처럼 설명하고 싶어집니다. 그러나 표본이 작을수록 한두 건의 변화가 비율을 크게 흔듭니다. 열 건 가운데 한 건이 늘어나면 비율은 눈에 띄게 달라지지만, 실제 상황은 거의 같을 수 있습니다.
자료가 어떤 질문에 답할 수 있는지를 판단하려면 비율을 보기에 앞서 응답이 몇 건인지, 어떻게 모았는지를 함께 확인해야 합니다. 이 두 가지가 빠진 비율은 해석할 수 있는 정보가 부족한 숫자입니다. 특히 적은 건수일수록 우연히 한쪽으로 치우쳤을 가능성을 열어 두고 읽어야 하며, 같은 조사를 한 번 더 했을 때 비슷한 결과가 나올지 스스로 물어보는 습관이 도움이 됩니다.
비율에는 실제 건수를 붙입니다
다섯 명 가운데 네 명이 같은 답을 했다면 80퍼센트라는 표기는 규모를 짐작하게 하지 못합니다. 실제 인원과 조사한 기간을 같이 적어야 읽는 사람이 자료의 무게를 가늠할 수 있습니다.
또한 누가 응답했는지를 확인합니다. 자발적으로 응답한 사람만 포함되었는지, 특정 지역이나 특정 채널에서만 모았는지에 따라 결과는 크게 달라집니다. 응답하지 않은 사람의 의견까지 이미 조사한 것처럼 추정해서는 안 되며, 이 점은 보고서에 한 줄로 밝혀 두는 편이 좋습니다. 응답률이 낮은 조사는 응답한 사람들의 성향이 결과를 좌우하기 쉬우므로, 전체 대상 가운데 몇 명이 답했는지도 가능하면 함께 적습니다.
비교하는 집단의 조건을 맞춰 봅니다
두 집단을 비교할 때는 두 집단이 같은 조건에 있는지 먼저 살핍니다. 한쪽은 최근 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 나타난 차이는 방식의 차이가 아니라 집단의 성격 때문일 수 있습니다.
질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면 같은 비율을 시간 순서대로 이어 붙이기도 어렵습니다. 이처럼 조건이 흔들리는 작은 자료에서는 확정적인 순위를 매기기보다, 관찰된 경향과 아직 확인하지 못한 질문을 구분해서 적는 쪽이 정확합니다. 예를 들어 이번 달 문의 중 한쪽 유형이 늘었다고 해서 그 유형이 앞으로도 늘어난다고 예측하지 않고, 다음 달에 같은 방식으로 다시 세어 비교해 보는 것이 안전합니다.
그래프와 표를 만들 때 주의할 점
그래프는 한눈에 이해를 돕지만 잘못 그리면 오해를 만듭니다. 축의 범위를 좁게 잡으면 두 건과 세 건의 차이도 큰 격차처럼 보이므로, 축이 어디에서 시작하는지와 숫자의 단위를 확인합니다.
분모가 서로 다른 비율을 나란히 놓을 때는 각 집단의 건수를 함께 표기합니다. 누락된 응답은 없는지, 한 사람이 중복해서 선택할 수 있었는지도 표 아래에 설명해 두면 읽는 사람이 오해하지 않습니다. 표를 보는 사람은 대개 설명을 읽지 않고 숫자만 보기 때문에, 중요한 한계는 표 가까이에 적는 것이 좋습니다.
결론은 자료가 말하는 범위까지만 씁니다
결론을 쓸 때에는 자료의 범위를 다시 적습니다. 이번에 확인한 사례에서는 이런 경향이 보였다고 말할 수는 있어도, 모든 고객이 그렇다고 단정할 근거는 부족할 수 있습니다. 같은 이유로 바로 정책이나 예산을 바꾸는 판단도 한 번의 작은 조사만으로는 이르다는 점을 염두에 둡니다.
추가 조사가 필요하다면 어떤 집단을 어느 기간 동안 더 모을지 구체적으로 적습니다. 적은 표본이 쓸모없다는 뜻은 아닙니다. 현장에서 어떤 질문이 나오는지 발견하는 데에는 충분히 도움이 되며, 다만 그 자료가 말하지 않는 부분까지 확정적인 사실로 바꾸지 않아야 한다는 뜻입니다. 보고서를 읽는 사람이 결론만 가져가더라도 오해하지 않도록 조건을 문장 안에 넣어 쓰는 것이 좋습니다.
다음 조사를 위해 조건을 기록해 둡니다
수집 과정을 반복할 수 있도록 질문지와 포함 기준, 조사 기간을 보관합니다. 다음 조사에서 같은 조건을 적용하면 숫자가 달라졌을 때 그 이유가 실제 변화인지 방법의 차이인지 나누어 볼 수 있습니다.
표본이 작다는 이유로 자료를 버리기보다 그 한계를 함께 기록해 두었다가 후속 확인에 활용하는 편이 유용합니다. 실무에서는 보고서 첫 줄에 응답 수와 조사 기간, 한계를 고정 항목으로 넣어 두면 담당자가 바뀌어도 같은 기준으로 읽을 수 있습니다.