저널
데이터 분석을 AI에 맡길수록, 사람은 현장으로 가야 합니다 — AI 시대의 질적조사
2026년 9월 4일
이 글은 2026년 9월 3일 한국능률협회컨설팅(KMAC) CS WISE 정기교육에서 CS·CX 실무자를 대상으로 한 강연 “데이터가 패턴을 보여준다면, 이유는 맥락 속에 있다”의 핵심을 정리한 것입니다. 강연은 여러 사례를 다루었지만, 그 전체는 그림 한 장으로 요약됩니다. 아래에서는 그 그림이 네 단계로 완성되는 순서를 따라가며, 각 단계가 뜻하는 바를 설명합니다.
글 전체의 핵심 개념은 범주입니다. 설문 문항, VOC 분류 코드, 상담 유형표, 고객 세그먼트처럼 현실을 어떤 칸에 담을지 정해 둔 틀을 가리킵니다.
1. 범주를 통과한 데이터
그림의 왼쪽은 현장, 곧 고객이 살아가는 현실입니다. 오른쪽은 패턴, 대시보드에서 보는 결과입니다. 그 사이에 범주가 있습니다. AI는 이 범주에 따라 데이터를 분류하고, 범주 안에서 패턴을 찾습니다. 따라서 패턴은 현실 그 자체가 아니라 범주를 통과한 데이터입니다.
여기서 눈여겨볼 것은 범주가 어디서 오는가입니다. 설문 문항도, VOC 코드도, 상담 유형표도 현장에 나가기 전에 조직 안에서 정해지고, 질문의 형태로 현장에 도착합니다. 고객은 준비된 칸 가운데 하나를 고를 뿐이며, 칸에 없는 이야기는 자리를 얻지 못합니다. 그래서 조사에서는 아는 만큼 보이는 것이 아니라, 아는 만큼만 보입니다. 그림의 점선 상자, 즉 범주에 담기지 않은 현실은 어느 칸에도 들어가지 못한 채 남습니다.
이 구조를 설명하는 데 자주 쓰이는 것이 ‘돌아오지 못한 비행기’ 이야기입니다. 제2차 세계대전 중 연합군이 귀환한 폭격기의 총탄 자국을 조사해 보강 부위를 정하려 했을 때, 통계학자 Abraham Wald가 반대로 읽었다고 전해집니다. 자국이 많은 부위는 맞아도 돌아올 수 있는 부위이고, 보강해야 할 곳은 오히려 자국이 없는 부위인데, 그곳을 맞은 비행기는 돌아오지 못해 데이터에 없다는 것입니다. 데이터는 돌아온 것의 기록이지 전체의 기록이 아닙니다.
VOC의 구조도 같습니다. VOC는 고객 전체가 아니라 조직에 흔적을 남긴 고객의 기록입니다. 말없이 떠난 고객, 불편을 스스로 해결하고 조용히 적응한 고객은 처음부터 데이터에 없으며, 데이터가 없다는 사실은 데이터 안에서 보이지 않습니다.
2. 범주가 지우는 것
두 번째 그림에서는 현장의 점들 사이에 초록 선이 더해졌습니다. 현장에는 점만 있는 것이 아니라 점 사이의 선이 있습니다. 어떤 말이 어떤 자리에서 나왔는지, 어떤 행동이 누구와의 관계 속에서 이루어졌는지가 그것입니다. 채인지는 이것을 맥락이라고 부릅니다. 행동을 말이 되게 하는 관계입니다. 말은 그때 받은 질문에 대한 대답이고 행동은 그때 놓인 문제에 대한 대응이므로, 그 자리를 이해하게 해 주는 것이 맥락입니다.
그림 가운데의 붉은 칸에는 점은 들어갔지만 선은 빠져 있습니다. 부분적으로만 범주화된 현실입니다. 1절의 회색 점선 상자가 아예 담기지 않은 것이라면, 붉은 칸은 담기긴 했으나 일부만 담긴 것입니다. 두 문제는 다르며, 이 절은 붉은 칸에 관한 것입니다.
선이 빠지면 무엇이 달라지는가. 가장 흔한 결과가 말과 행동의 어긋남입니다. 만족도 조사에서 9점을 주고 다음 달에 해지하는 고객은 어느 조직에나 있습니다. 흔히 문항의 문제나 응답자의 불성실로 설명되지만, 사람이 말과 다르게 행동한다는 관찰은 조사 오류가 아니라 백 년 가까이 반복 확인되어 온 현상입니다(LaPiere, 1934; Pager & Quillian, 2005). 범주가 맥락을 지우는 방식은 크게 두 가지입니다.
첫째는 탈락입니다. 설문의 ‘선호’ 문항에 대한 답은 정확하게 기록되지만, 그 답이 어디서 왔는지, 예컨대 직접 써 본 경험인지 어릴 때 들은 평판인지는 어느 칸에도 들어가지 않습니다. 답은 남고 답의 출처는 지워집니다.
둘째는 분산입니다. 채인지가 수행한 한 지역구 유권자 심층면담에서는 한 사람의 말 안에 두 개의 답이 함께 있었습니다. 지원을 받으니 일단 좋다는 말과, 왜 자신에게 이런 돈을 주는지 모르겠다는 말입니다. 앞의 것은 수혜자로서, 뒤의 것은 납세자로서 한 말입니다. 이를 설문으로 집계하면 찬성 몇 %, 반대 몇 %가 남습니다. 교차분석을 하면 두 답을 모두 한 사람이 몇 %인지는 나옵니다. 존재 자체는 데이터로 잡힙니다. 그러나 그 ’찬성’이 어떤 찬성이었는지, 주는데 마다할 이유가 없다는 정도의 찬성이었다는 사실은 셀 안에서 다른 찬성과 구분되지 않습니다. 더구나 두 문항을 나란히 놓고 볼 생각을 하려면 그런 조합이 존재한다는 것을 미리 알아야 하는데, 그 단서는 대체로 면담에서 먼저 나옵니다. 결과적으로 한 사람이 데이터 안에서 두 사람이 됩니다. 어느 칸도 틀리지 않았는데도 그렇습니다.
CS 데이터로 옮기면 이렇게 됩니다. 만족도 조사의 9점, 이탈 데이터의 해지자, 상담 이력의 문의 한 건이 세 곳에 흩어져 있는데 모두 같은 사람입니다. 그 셋을 한 사람의 이야기로 잇는 일은 어떤 칸도 대신해 주지 않습니다.
이것이 1절의 빈칸보다 다루기 어려운 이유가 있습니다. 범주에 아예 담기지 않은 것은 빈칸으로라도 표가 납니다. 그러나 일부만 담긴 데이터는 온전한 것처럼 집계됩니다. 그리고 지우는 것은 범주의 결함이 아니라 기능입니다. 고객 한 사람의 모든 것을 안고 있으면 다음 통화를 받을 수 없고, 수십만 건을 다루려면 지워야 합니다. 그러므로 범주를 버리자는 것이 아니라, 지금의 범주가 현실을 얼마나 맞게 자르고 있는지를 물어야 합니다. 말과 행동이 어긋나 보일 때 고객의 모순을 탓하기 전에 먼저 볼 것은 범주 쪽입니다.
3. 현장, 범주가 다시 태어나는 곳
세 번째 그림의 아래쪽에 두 번째 길이 생겼습니다. 위의 화살표는 AI가 가는 빠른 길이며 한 방향입니다. 아래의 초록 선은 패턴에서 다시 현장으로 되돌아가는 길입니다. 질적조사와 참여관찰로 맥락이 함께 붙은 데이터(thick data, 두터운 맥락의 데이터)를 가져와, 패턴이 사람의 삶에서 무엇을 뜻하는지 확인하고, 필요하면 범주를 고칩니다.
현장에서 범주에 하는 일은 세 가지 동작으로 정리됩니다. 우리의 범주가 현장에 실제로 존재하는지 보는 확인, 존재하지만 현장은 다르게 나뉘어 있는 수정, 현장에는 있으나 우리 쪽에 이름이 없는 추가입니다.
확인. 채인지가 중국에서 김치가 어떻게 인식되는지 조사한 적이 있습니다. 당시 들고 간 범주는 셋이었습니다. 한국을 대표하는 음식, 건강한 발효식품, 그리고 정체성. 그런데 당시 조사한 소비자들의 식탁에는 김치에 대한 그런 서사가 없었습니다. 그 식탁은 냉채, 주채, 주식의 순서로 짜여 있고, 김치가 놓일 수 있는 자리는 냉채 한 칸뿐이었습니다. 접대하는 상에는 값싸 보이는 음식을 올리지 않는다는 예의도 작용했습니다. 유행은 몇 주, 유통과 외식은 몇 년, 식문화는 수백 년 단위로 움직이는데, 시장 지표에 잡히는 것은 대체로 맨 위층입니다. 김치가 식탁에 오를 수 있는지는 맨 아래층에서 결정되고 있었습니다. 제품의 문제가 아니라, 우리 범주가 그들의 식탁에 자리를 얻지 못한 것입니다. 확인이란 이렇게 우리 범주를 현장의 구조에 대어 보는 일입니다.
수정. 채인지가 한 공공기관의 의뢰로 수행한 학교 밖 청소년 조사입니다. 기존 통계는 청소년을 다섯 유형으로 나누고 있었습니다. 학업형, 직업형, 무업형, 비행형, 은둔형(교육정책 포럼 308호, 2019). 무업형은 특정 목표 없이 아무것도 하지 않는 경우, 은둔형은 집에서 나오지 않는 경우로 정의되어 있었습니다. 그런데 은둔형 칸에는 숫자가 없었습니다. 조사되지 않은 칸이었습니다. 칸은 있는데 데이터가 없는, 1절의 비행기가 통계표 안에 인쇄되어 있었던 셈입니다.
채인지는 이 다섯 유형을 참고 자료로 삼아 현장에 나갔고, 청소년들을 만난 뒤 유형을 현장에서 재구성했습니다. 기존 틀을 그대로 쓸 수 없었던 이유는 분명했습니다. 무업형으로 분류될 청소년들은 아무것도 하지 않는 것이 아니라 다른 것을 하고 있었고, 비행형은 조사 범주가 아니라 도덕적 판단이었으며, 은둔형은 조사가 되지 않는 칸이었습니다. 현장에서 만난 청소년들을 기준으로 새로 나눈 네 범주가 학업우선형, 취업우선형, 생계충족우선형, 진로미정형입니다. 이름에 ’우선’을 넣은 것은 어떤 사람인지가 아니라 지금 무엇을 먼저 두고 있는지를 나타내기 위해서입니다.
그런데 새로 만든 이 네 칸도 사람의 종류가 아니었습니다. 한 청소년은 검정고시를 준비하러 와서 학업우선이었다가 합격하면 취업으로, 집안 사정이 생기면 생계로, 그것이 정리되면 다시 진로로 옮겨 갔습니다. 범주가 틀린 것이 아니라 청소년이 움직이고 있었습니다. 유형이라고 생각했던 것이 거쳐 가는 상황이었습니다. 보고서의 결론은 청소년을 유형에 배정하지 말고, 네 가지 서비스를 모두 준비해 두고 지금 상황에 맞는 것을 고르게 하자는 것이었습니다. 배정에서 선택으로의 전환입니다. 당시 서비스가 상담과 학업 지원 위주여서 취업이나 생계 상황의 청소년에게는 충분하지 않았다는 사실도 그때 드러났습니다.
CS의 유형표에도 같은 일이 일어납니다. ‘이탈 위험’, ’가격 민감’은 상태를 나타내려던 이름이지만, 시스템에 들어가면 그 사람의 속성이 됩니다. 그리고 그 유형은 몇 달 전에 붙은 것입니다.
추가. 데이터가 ’이탈’이나 ’해지’로 분류한 고객이 실제로는 방식만 바꾸어 같은 제품을 계속 사고 있는 경우가 있습니다. 정해진 주기의 배송이 생활 리듬과 맞지 않아 구독을 끊었을 뿐, 떠난 적은 없는 고객입니다. 이런 고객에게 ’수시구매’와 같은 칸을 하나 만들어 주면 질문 자체가 바뀝니다. 구독을 어떻게 늘릴 것인가에서 고객의 총구매를 어떻게 늘릴 것인가로. 앞의 질문에서 손실로 집계되던 사람이 뒤의 질문에서는 매출이 됩니다. 새 칸은 회의실에서 나온 것이 아니라, 고객이 이미 그렇게 살고 있던 것에 이름을 붙인 것입니다.
수정과 추가에서 생긴 칸이 그림의 다섯 번째 칸, “새 범주 — 고객의 범주”입니다.
이 되돌아가는 길에는 한 가지 특징이 있습니다. 자동화가 잘 붙지 않습니다. 언제 돌아갈지, 무엇을 확인할지를 누군가 결정해야 하기 때문입니다. AI가 내놓는 설명은 답이 아니라 가설이며, 확인은 현장에서 이루어집니다.
이것이 수십만 건을 다시 읽자는 뜻은 아닙니다. 순서는 네 단계입니다. 첫째, 데이터가 보여준 패턴은 이미 있습니다. 둘째, 패턴마다 대표 샘플을 고릅니다. 전형적인 사례 한 명과 대조가 되는 이례적 사례 한 명이며, 범주가 깨지는 자리는 대체로 후자에 있습니다. 셋째, 그들을 직접 만납니다. 넷째, 패턴에 ’왜’가 붙고 유형 전체가 새로 읽힙니다. 인사이트는 보고서에 남았다가 서랍에 들어가지만, 고쳐 쓴 범주는 시스템에 들어가 그 다음의 모든 데이터를 다르게 읽게 만듭니다. 조직의 자산으로 남는 것은 범주입니다.
4. 현장으로 돌아가는 일은 사람의 몫
마지막 그림에 더해진 것은 되돌아가는 화살표 위의 한 줄입니다. 만나서 듣는 일 자체가 고객에게 긍정적인 경험으로 남는다는 것입니다. 고객을 만나러 가는 일은 비용으로 여겨지기 쉽지만, 채인지가 조사에서 반복해서 확인하는 것이 있습니다. 공공 조사에서 기관과 정책에 비판적이던 주민들조차 긴 면담 뒤에는 말할 기회를 주어 고맙다는 반응을 보였고, 이런 이야기는 친구나 가족과도 잘 하지 않는다고 했습니다. 이어진 설문에서 기관에 대한 인식은 면담 전보다 긍정적이었습니다. 충분히 들어주는 경험 자체가 관계에 영향을 줍니다. 그 30분은 조사이면서 동시에 고객 경험입니다.
그리고 그림에 그려지지 않은 것이 하나 있습니다. 이 화살표를 돌리는 손, 현장으로 돌아가기로 결정하는 사람입니다.
AI가 잘하는 일은 분명합니다. 반복되는 일, 전형적인 패턴, 잘 정의된 문제입니다. 다만 우리가 나눈 범주 위에서 그렇게 합니다. 그리고 설명은 계속 늘어납니다. 예전에는 이유를 몰라 답답했다면, 이제는 그럴듯한 설명이 너무 많아 고르기가 어렵습니다. 사람에게 남는 일은 그 반대편에 있습니다. 예외, 이례적 사례, 범주가 어긋나는 순간, 그리고 그 설명을 믿을지 의심할지의 판단입니다.
왜 사람이어야 하는가. AI보다 잘해서가 아닙니다. 고객과 같은 세계에 살고, 그 판단의 결과를 책임지기 때문입니다. 설명이 틀렸을 때 대가를 치르는 것은 조직 안의 사람입니다. AI가 아무리 좋아져도 이 점은 바뀌지 않습니다. 능력의 문제가 아니라 누구의 일인가의 문제이기 때문입니다.
그리고 책임이기 때문에 능력을 준비해 두어야 합니다. 이 점을 40년 전에 지적한 논문이 있습니다(Bainbridge, 1983). 발전소와 공장의 제어실을 다룬 연구로, 자동화가 깊어지면 쉬운 일은 기계가 가져가고 어려운 일만 사람에게 남는데, 평소 손을 놓고 있으므로 정작 그 어려운 일을 처리할 능력이 줄어든다는 것입니다. 핵심은 이것입니다. AI의 결과가 맞는지 확인하려면 맞다는 것이 무엇인지 아는 자기 기준이 있어야 하고, 그 기준은 직접 해 봐야 생깁니다. 앞서 좋은 숫자가 위험하다고 한 것과 같은 구조입니다. 자동화도 잘 돌아갈수록 확인할 능력이 줄어듭니다. 따라서 자동화되었으니 덜 배워도 되는 것이 아니라, 드물지만 결정적인 순간을 위해 오히려 더 준비해야 합니다. AI를 계속 점검하고, 범주가 어긋나는 순간을 알아보고, 예외와 돌발 상황에 대처하는 능력이 그것입니다.
현장이 그 훈련 장소입니다. 고객을 직접 만나 범주를 확인하고, 고치고, 보태는 일은 조사이면서 동시에 판단력을 기르는 연습입니다. 그리고 앞의 사례에서 새 범주는 모두 회의실이 아니라 현장에서 나왔습니다. 현장은 새로운 범주가 나오는 곳이며, 그런 의미에서 창의력과 인사이트의 원천이기도 합니다.
패턴은 AI가 보여줍니다. 그 패턴이 사람의 삶에서 무엇인지는 사람이 현장에서 확인합니다.
돌아온 비행기는 데이터에 있습니다. 돌아오지 못한 비행기를 찾으러 가는 일은, 여전히 사람의 몫입니다.
강연 자료 — “데이터가 패턴을 보여준다면, 이유는 맥락 속에 있다”, KMAC CS WISE 정기교육, 2026년 9월 3일 · PDF 보기
참고문헌
- Bainbridge, L. (1983). Ironies of Automation. Automatica, 19(6), 775–779.
- LaPiere, R. T. (1934). Attitudes vs. Actions. Social Forces, 13(2), 230–237.
- Pager, D. & Quillian, L. (2005). Walking the Talk? What Employers Say Versus What They Do. American Sociological Review, 70(3), 355–380.
이 글과 관련된 질적조사 방법론은 질적조사 방법론 페이지를 참조하세요.