2장.AI시대, 데이터분석의 종말은 오는가? [Is the End of Data Analytics Near?]

AI 시대, 데이터를 보는 관점에 대해 2 [A New Way to See Data in the Age of AI]
2장.데이터 분석의 종말은 오는가?

AI 시대, 분석할 수 있다는 것만으로 전문가가 되던 시대의 끝

나는 오랫동안 데이터 분석을 가르쳤다.

통계학을 전공했고, 데이터를 가지고 문제를 정의하고, 원인을 찾고, 전략을 세우는 일을 해왔다.

강의 시간만 놓고 보면, 어쩌면 이 주제로는 세계에서 꽤 앞줄에 서 있을지도 모른다.

물론 확인해 본 적은 없다. 이런 건 대개 본인이 우기면 된다.

그런데 요즘은 이상한 생각이 든다.

AI 시대에도 데이터 분석이 필요할까?

통계학은 계속 필요한가?

아니, 조금 더 불편하게 묻자.

데이터 분석의 종말은 오는가?

이 질문은 내게 꽤 곤란하다.

평생 "데이터로 봐야 합니다"라고 말해온 사람이 갑자기 "데이터 분석, 이제 끝난 거 아닙니까?"라고 묻고 있으니 말이다.

식당 주인이 어느 날 손님에게 "요즘은 외식이 꼭 필요할까요?"라고 묻는 꼴이다.

장사는 접자는 건가.

물론 내가 말하는 종말은 데이터 분석 자체의 종말이 아니다.

종말을 맞는 것은 따로 있다.

분석할 수 있다는 것만으로 전문가의 가치를 인정받던 방식이다.

1. AI가 데이터 분석을 대신하는 시대, 분석가는 무엇을 해야 할까?

예전에는 데이터를 만질 줄 아는 사람이 귀했다.

엑셀을 잘 다루고, 피벗테이블을 만들고, 교차분석을 하고, 그래프를 그리고, 회귀분석 결과를 해석할 수 있으면 충분히 전문가 대접을 받았다.

남들이 못 하는 일을 했기 때문이다.

데이터는 여기저기 흩어져 있었고, 분석 도구는 어렵게 느껴졌으며, 통계 용어는 괜히 사람을 주눅 들게 했다.

그러나 AI는 이 판을 아주 빠르게 바꾸고 있다.

이제는 "이 데이터로 매출이 떨어진 원인을 분석해 줘"라고 말하면 AI가 기본적인 집계와 시각화를 순식간에 해낸다.

"성별과 구매 카테고리 간에 관계가 있는지 분석해 줘"라고 하면 카이제곱 검정까지 수행한다.

"이 결과를 임원 보고용으로 정리해 줘"라고 하면 표와 그래프까지 붙여서 보고서 초안을 만들어 준다.

물론 결과가 통계적으로 타당한지, 데이터와 분석 방법이 적절한지는 확인해야 한다.

그럼에도 과거에는 몇 시간, 때로는 며칠씩 걸리던 일을 이제는 몇 분 만에 해내는 경우가 많아졌다.

심지어 말도 공손하다.

사람보다 낫다고 느낄 때도 있다.

기분은 좀 나쁘지만 사실이다.

그렇다면 이제 데이터 분석가는 필요 없을까?

나는 오히려 여기서부터 데이터 분석의 진짜 가치가 드러난다고 생각한다.

AI가 분석을 할 수 있다는 것과, 분석해야 할 문제를 이해한다는 것은 전혀 다른 이야기이기 때문이다.

AI가 그래프를 그린다고 해서 그 그래프 때문에 우리 회사의 누가, 내일, 어떤 의사결정을 바꿔야 하는지까지 아는 것은 아니다.

AI가 회귀분석을 한다고 해서 우리 회사의 영업 조직, 생산 현장, 고객 불만, 신제품 출시 압박, 사장님의 조급함까지 이해하는 것도 아니다.

물론 충분한 맥락을 제공하면 AI도 상당한 수준의 판단을 도와줄 수 있다.

그러나 어떤 문제를 해결해야 하는지 결정하고, 그 결과에 책임지는 것은 여전히 조직과 사람의 몫이다.

2. 데이터 분석에서 정말 어려웠던 것은 계산이 아니다

나는 오랫동안 데이터 기반 문제해결을 가르치면서 한 가지를 강조해 왔다.

"생각할 수 있는 만큼 분석할 수 있다."

어떤 의미일까?

분석 도구가 부족해서 문제를 해결하지 못하는 경우도 있지만, 정작 더 큰 문제는 무엇을 분석해야 하는지 생각하지 못하는 데 있다.

데이터 분석에서 정말 어려운 일은 계산이 아니었다.

사실 계산은 원래 기계가 더 잘했다.

어려운 것은 질문이었다.

무엇을 문제로 볼 것인가.

어떤 현상을 이상하다고 느낄 것인가.

어떤 변수와 어떤 변수를 연결해 볼 것인가.

어떤 결과가 나오면 우리의 행동을 바꿀 것인가.

이 질문들이 없다면 분석은 그저 부지런한 장식 노동이 된다.

현장에서 이런 장면을 자주 본다.

데이터를 모은다.

대시보드를 만든다.

그래프가 늘어난다.

회의자료가 두꺼워진다.

그리고 마지막에 누군가 묻는다.

"그래서 뭘 하자는 겁니까?"

이 질문이 나오면 분석은 이미 길을 잃은 것이다.

분석을 못 해서가 아니다.

너무 열심히 분석했는데, 처음에 왜 분석하는지를 정하지 않았기 때문이다.

데이터는 많이 봤지만 문제를 보지 못한 것이다.

AI 시대에는 이 문제가 더 커질 수도 있다.

AI가 분석을 쉽게 해주기 때문이다.

쉬워지면 많이 한다.

많이 하면 뭔가 하고 있는 것처럼 느껴진다.

조직은 보고서가 늘어나면 안심한다. 그래프가 많으면 더 안심한다.

색깔이 들어간 멋진 대시보드까지 등장하면 거의 혁신한 것 같은 기분이 든다.

하지만 고객은 대시보드를 사지 않는다.

고객은 예쁜 그래프를 경험하지도 않는다.

고객이 경험하는 것은 결국 더 좋은 제품, 더 빠른 대응, 더 정확한 서비스, 덜 짜증 나는 과정이다.

데이터 분석의 목적은 분석 결과를 만드는 것이 아니라, 현실의 무언가를 바꾸는 것이다.

3. AI 시대 데이터 분석 방법은 거꾸로 시작해야 한다

그렇다면 AI 시대에는 데이터를 어떻게 분석해야 할까?

나는 이를 '거꾸로 분석하기(Analytics Backward)'라고 설명한다.

보통 데이터 분석을 배울 때는 다음 순서로 배운다.

데이터를 수집한다. 데이터를 정제한다. 분석한다. 시각화한다. 그리고 결과를 해석한다.

틀린 방법은 아니다.

실제 분석 작업도 대체로 이런 흐름으로 진행된다.

그런데 분석을 설계하는 생각의 순서는 반대여야 한다.

먼저 물어야 한다.

이 분석을 통해 어떤 의사결정을 바꿀 것인가?

어떤 업무를 다르게 할 것인가?

어떤 고객 경험을 개선할 것인가?

어떤 비용을 줄이고, 어떤 시간을 단축하고, 어떤 실패를 예방할 것인가?

그다음에 질문을 만든다.

질문을 풀기 위해 어떤 가설이 필요한지 생각한다.

가설을 검증하려면 어떤 분석이 필요한지 정한다.

분석을 하려면 어떤 변수가 필요한지 찾는다.

마지막으로 그 변수를 확보하기 위해 어떤 데이터를 수집하고 정제해야 하는지 설계한다.

정리하면 이렇다.

목적 → 질문 → 가설 → 분석 설계 → 필요 변수 → 데이터

이것이 내가 말하는 Analytics Backward다.

데이터 분석을 거꾸로 실행하자는 뜻이 아니다.

데이터를 보기 전에, 왜 데이터를 봐야 하는지부터 생각하자는 것이다.

이 차이가 생각보다 크다.

예를 들어, 매출 데이터를 분석한다고 해보자.

"우리 회사 매출 데이터를 분석해 보자."

이렇게 시작하면 끝이 없다.

지역별 매출, 채널별 매출, 고객별 매출, 제품별 매출, 월별 매출, 전년 대비 매출, 객단가, 구매 빈도, 재구매율까지 계속 나온다.

모두 필요한 분석일 수 있다.

문제는 다 맞는 분석이 반드시 좋은 분석은 아니라는 데 있다.

반대로 이렇게 물으면 어떨까?

"왜 신제품은 첫 구매 이후 재구매로 이어지지 않는가?"

갑자기 분석이 선명해진다.

첫 구매 고객과 재구매 고객을 구분해야 한다.

구매 후 어느 시점에서 고객이 이탈하는지 살펴봐야 한다.

어떤 채널에서 유입된 고객의 재구매율이 높은지 비교해야 한다.

가격 때문인지, 맛 때문인지, 배송 때문인지, 기대했던 경험과 실제 사용 경험의 차이 때문인지 가설을 만들어야 한다.

필요하다면 VOC와 고객 리뷰도 분석해야 한다.

물론 이런 분석만으로 재구매율 하락의 원인을 모두 확정할 수는 없다. 추가 검증이 필요할 수도 있다.

하지만 이제 데이터는 흩어진 숫자가 아니라 하나의 질문에 답하기 위해 모인 증거가 된다.

같은 데이터를 가지고도 전혀 다른 분석을 할 수 있다는 뜻이다.

그리고 이것이 분석 도구를 잘 다루는 사람과 문제를 잘 해결하는 사람의 차이다.

4. 생성형 AI는 데이터 분석가를 대체할까, 능력을 증강할까?

나는 AI가 데이터 분석의 가치를 떨어뜨린다고 생각하지 않는다.

오히려 제대로 활용한다면 데이터 분석의 가치를 훨씬 높일 수 있다고 본다.

예를 들어 앞서 이야기한 신제품 재구매 문제를 생각해 보자.

AI에게 단순히 "매출 데이터를 분석해 줘"라고 지시하는 것과,

"신제품 재구매율이 낮은 원인을 찾으려고 한다. 가능한 원인 가설을 제시하고, 이를 검증하기 위한 분석 방법과 필요한 데이터를 설계해 줘"라고 지시하는 것은 전혀 다른 접근이다.

AI는 우리가 미처 생각하지 못한 가설을 제안할 수 있다.

변수의 조합을 추천할 수 있다.

분석 방법을 비교하고, 필요한 통계적 검정을 수행하도록 도와줄 수 있다.

고객 리뷰에서 반복되는 불만을 정리하고, 정량 데이터와 정성 데이터의 연결 가능성도 찾아줄 수 있다.

과거에는 분석가 한 사람이 머리를 싸매고 하던 일을 이제는 AI와 함께할 수 있다.

나는 이것을 단순한 자동화보다 지능 증강(Intelligence Augmentation)이라는 관점에서 바라볼 필요가 있다고 생각한다.

AI에게 분석을 맡기고 사람은 아무것도 하지 않는다는 뜻이 아니다.

사람이 문제를 더 넓게 바라보고, 더 다양한 가설을 검토하고, 더 빠르게 검증하고, 더 나은 의사결정을 내릴 수 있도록 AI를 활용한다는 의미다.

물론 AI가 제안하는 가설은 어디까지나 가설이다. 통계 검정의 결과도 전제조건과 데이터 품질을 확인해야 한다.

AI가 제시한 결과가 그럴듯하다고 해서 모두 옳은 것은 아니다.

오히려 AI 시대에는 이런 위험이 더 커질 수 있다.

AI는 틀린 답도 아주 자신 있게 이야기하기 때문이다.

사람은 틀리면 눈치라도 보는데, AI는 그런 게 없다.

그래서 더 무섭다.

결국 AI를 활용하는 분석가에게 필요한 것은 단순한 도구 사용 능력이 아니다.

문제를 이해하고, 가설을 의심하고, 분석 결과를 검증하고, 이를 실제 의사결정으로 연결하는 능력이다.

5. AI 시대에도 통계학은 필요한가?

그렇다면 통계학은 어떻게 될까?

통계학을 전공한 사람으로서 이 질문도 피해 갈 수 없다.

나는 통계학이 사라질 것이라고 생각하지 않는다.

다만 통계학을 배우고 활용하는 방식은 달라져야 한다고 생각한다.

예전에는 특정 분석 기법을 알고 있다는 것 자체가 전문성이었다.

분산분석을 할 수 있는가?

회귀분석을 할 수 있는가?

가설검정을 할 수 있는가?

분석 방법을 알고 통계 소프트웨어를 다룰 수 있으면 일정 수준의 경쟁력을 가질 수 있었다.

하지만 이제 AI도 이러한 분석 작업을 수행할 수 있다.

그렇다면 사람이 통계학을 배워야 하는 이유는 무엇일까?

나는 통계적 사고(Statistical Thinking)에 있다고 본다.

눈앞의 차이가 우연히 발생한 것인지, 의미 있는 변화인지 구분하는 능력.

평균만 보지 않고 변동을 함께 바라보는 능력.

상관관계를 인과관계로 착각하지 않는 능력.

표본의 한계를 이해하고, 분석 결과를 과도하게 일반화하지 않는 능력.

그리고 숫자로 표현된 결과가 실제 현장에서 무엇을 의미하는지 해석하는 능력.

이것은 단순히 통계 프로그램을 잘 다루는 것과 다르다.

분석 계산을 AI가 대신할수록 오히려 이러한 사고의 중요성은 커질 수 있다.

통계 지식은 더 이상 전문가만의 성벽이 아니다. 이제는 AI와 함께 문제를 해결하기 위한 문법에 가깝다.

문법을 안다고 좋은 글을 쓰는 것은 아니다.

마찬가지로 통계 기법을 안다고 좋은 문제를 해결하는 것도 아니다.

중요한 것은 그 문법으로 어떤 질문을 만들고, 어떤 답을 찾아낼 것인가이다.

6. 데이터 분석가의 미래는 분석 능력이 아니라 문제해결 능력에 달려 있다

결국 AI 시대의 데이터 분석 역량은 이동하고 있다.

'분석을 할 줄 아는 능력'에서 '분석할 문제를 설계하는 능력'으로.

표를 만드는 능력보다 질문을 만드는 능력이 중요해진다.

그래프를 그리는 능력보다 그 그래프를 보고 어떤 의사결정을 바꿀지 판단하는 능력이 중요해진다.

분석 도구를 다루는 기술보다 분석 결과를 조직의 행동 변화로 연결하는 역량이 중요해진다.

이것은 단순히 데이터 분석가라는 직업의 변화만을 의미하지 않는다.

기업의 데이터 기반 의사결정 방식도 달라져야 한다는 뜻이다.

앞으로는 '얼마나 많은 데이터를 분석했는가'보다 '그 분석을 통해 어떤 문제를 해결했는가'가 더 중요해질 것이다.

대시보드를 몇 개 만들었는가보다 그 대시보드 때문에 어떤 의사결정이 달라졌는가를 물어야 한다.

AI를 얼마나 잘 활용하는가보다 AI를 활용해 이전에는 풀지 못했던 어떤 문제를 해결했는가를 물어야 한다.

내가 오랫동안 이야기해 온 데이터 기반 문제해결의 본질도 여기에 있다.

데이터 분석은 목적이 아니다.

문제를 해결하기 위한 수단이다.

AI가 등장했다고 이 본질이 바뀌지는 않는다.

오히려 더 분명해졌을 뿐이다.

데이터 분석의 종말은 오는가?

다시 처음의 질문으로 돌아가 보자.

데이터 분석의 종말은 오는가?

내 생각은 이렇다.

데이터 분석의 종말은 오지 않는다.

다만 데이터 분석가의 종말은 올 수 있다.

정확히 말하면, 데이터를 분석하는 것만으로 자신의 역할이 끝났다고 믿는 분석가의 시대는 끝나가고 있다.

AI 시대에 필요한 사람은 단순히 데이터를 잘 만지는 사람이 아니다.

데이터를 통해 문제를 다시 보게 만드는 사람이다.

분석 결과를 설명하는 사람이 아니라, 분석 결과가 조직의 행동을 바꾸게 만드는 사람이다.

좋은 분석은 보고서에서 끝나지 않는다.

좋은 분석은 회의실을 지나 현장으로 내려가야 한다.

그리고 누군가의 일이 달라져야 한다.

그때 비로소 데이터는 숫자가 아니라 힘이 된다.

분석할 수 있다는 것만으로 전문가가 되던 시대는 끝나가고 있다.

이제는 무엇을 분석해야 하는지, 왜 분석해야 하는지, 그리고 그 분석으로 무엇을 바꿀 것인지 아는 사람이 전문가다.

1장. AI시대, 데이터를 보는 관점에 대해 읽어보기.
https://imaginefactory.ai/articles/ai-%EC%8B%9C%EB%8C%80-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A5%BC-%EB%B3%B4%EB%8A%94-%EA%B4%80%EC%A0%90%EC%97%90-%EB%8C%80%ED%95%B4-a-new-way-to-see-data-in-the-age-of-ai

FAQ 1.
AI가 발전하면 데이터 분석가는 사라질까요?
데이터 집계, 시각화, 통계 분석 등 반복적인 분석 업무는 AI로 자동화될 수 있습니다. 그러나 비즈니스 문제를 정의하고, 가설을 설계하고, 분석 결과를 의사결정으로 연결하는 역량의 중요성은 커지고 있습니다.

FAQ2. AI 시대에도 통계학을 배워야 할까요?
통계 계산을 직접 수행하는 능력 못지않게 변동을 이해하고, 상관관계와 인과관계를 구분하며, 분석 결과의 타당성을 판단하는 통계적 사고가 중요합니다. 하지만, 통계학을 배우는방식은 바꾸는게 좋습니다.

FAQ3.
Analytics Backward란 무엇인가요?
Analytics Backward는 데이터부터 분석하기보다 해결하려는 목적과 질문에서 출발해 가설, 분석 설계, 필요 변수, 데이터를 역순으로 정의하는 문제 중심 분석 접근법입니다.