AI를 사용하여 데이터로 스토리 텔링하기
비정형 데이터는 새로운 고객 인사이트를 확보할 엄청난 기회를 제공합니다. 조직에서 이러한 데이터를 쉽게 이해할 수 있는 자체 고객에 대한 스토리로 변환할 수 있다면 고객 만족도를 높이고 이탈을 줄이는 데 도움이 되는 조치를 취할 수 있습니다.
사용할 수 있는 비정형 데이터는 부족하지 않습니다. 실제로 일부 추정에 따르면 전체 데이터의 90%가 비정형 데이터이며, 이 데이터는 정형 데이터보다 훨씬 빠르게 증가하고 있습니다. 비정형 고객 데이터를 구성하는 텍스트, 이미지, 오디오, 기타 유형의 콘텐츠가 Discord, Reddit, Slack, X 등 다양한 플랫폼에서 빠르게 증가하고 있습니다. 이 모든 데이터를 수집하고 실행 가능한 인사이트로 변환하는 것은 어려울 수 있지만, 그 잠재적인 이점은 노력할 만한 가치가 있습니다.
저는 Google에서 UX 엔지니어로 재직하면서 생성형 AI 기능을 고객 데이터와 결합하면 디지털 경험이 어떻게 개선될 수 있는지 확인했습니다. 저는 클라우드 cloud.google.com 홈페이지를 포함한 웹 페이지 마케팅을 담당하는 훌륭한 팀의 일원이었습니다. 저희가 담당했던 일부 프로젝트에는 Salesforce 티켓을 부분적으로 자동화하는 영업 및 지원을 위한 대화형 UI를 구축하는 것이 포함되었습니다. 저희는 반자동 지원 응답을 통해 고객 문제를 신속하게 해결하고 고객 만족을 유지할 수 있었습니다.
하지만 대부분의 조직에서는 고객 피드백 체인이 작동하지 않으며, Sushidata에서는 이를 해결하기 위해 노력하고 있습니다. 저는 이 회사의 공동 창업자 겸 CEO로서 재능 있는 직원들과 함께 조직에서 비정형 데이터에 AI를 적용하여 고객 인사이트를 심화하고 고객 경험을 개선할 수 있도록 지원하고 있습니다. 저희 회사의 지금까지의 여정에서 저희는 노력을 집중해야 하는 대상 및 데이터를 최대한 활용하는 방법에 대해 몇 가지 중요한 교훈을 배웠습니다.
기존 고객의 가치 극대화
기존 고객의 경험에 집중하는 것이 가장 큰 영향을 미치는 경우가 많습니다. 신규 고객을 확보하는 데는 이미 확보한 고객을 유지하는 것보다 훨씬 더 많은 리소스가 필요합니다. 귀사에서는 새로운 잠재 고객을 유치하기 위한 노력을 멈추지 않겠지만, 현재 고객의 요구 사항을 해결하는 것이 최우선 과제 중 하나가 되어야 합니다.
비정형 데이터에서 인사이트를 발견하여 잠재적인 문제를 조기에 발견할 수 있습니다. 예를 들어, Cloudflare에서 클라이언트를 위해 수집하는 일부 데이터에는 지원팀에서 문제를 해결하는 데 걸리는 시간에 불만이 있는 고객의 불만 사항이 포함되어 있습니다. 저희는 현재 자연어 처리를 활용하여 Slack, 이메일, 텍스트 등 필요한 모든 매체로 적절한 팀에 알림을 보내는 알림 메커니즘을 개발하고 있습니다. Cloudflare 고객은 이 메커니즘을 통해 자체 고객이 경쟁 솔루션을 알아보기로 결정하기 전에 문제를 해결할 수 있습니다.
한편, 고객의 요구 사항을 실시간으로 파악하면 새로운 상향 판매 기회가 창출될 수 있습니다. 고객이 Slack에서 특정 비즈니스 문제를 설명하거나 Discord에 기능 요청을 게시하면 해당 고객의 요구 사항을 충족하는 솔루션을 제공할 수 있습니다. 다음과 같이 생각해 볼 만한 점이 몇 가지 있습니다. 기업 요금제에 대한 질문을 받을 때 어떻게 대처해야 할까요? 저에게 있어 그 해답은 해당 고객의 참여를 유도하고 해당 잠재적 구매자에게 최대한 도움을 주는 것입니다.
AI의 힘 활용하기
방대한 양의 고객 데이터에서 귀중한 보물을 어떻게 찾아낼 수 있을까요? 비정형 데이터를 최대한 활용하려면 AI가 필요합니다. 대규모 언어 모델(LLM)을 사용하면 여러 소스에서 고객 데이터를 효율적으로 수집하고, 각기 다른 위치에서 수집한 데이터 조각을 연결하며, 여러 플랫폼의 사용자를 통합하고, 데이터를 분석하여 감정을 이해하며, 실시간 동향을 파악하고, 새로운 인사이트를 시각적 형식으로 제공할 수 있습니다.
이러한 작업은 AI가 없다면 거의 불가능할 것입니다. 여러 온라인 포럼의 대화 데이터를 귀사 제품에 대한 일관된 고객 이야기로 구성하고 싶다고 가정해 보겠습니다. 제품에 대한 모든 언급을 찾는 것 이상으로, 수많은 메시지 간의 관계를 식별하고, 특정 정보를 연결하며, 의미가 있는 단일 스토리를 생성할 수 있는 상황 인식 시스템이 필요합니다. 인간 커뮤니케이션의 미묘한 차이와 모호한 성격을 고려할 때, 대화가 본질적으로 얽혀 있고 자연스러운 경우에도 이 프로세스에는 정교한 AI 기능과 컨텍스트 유지가 필요합니다.
주요 전략적 결정 다루기
비정형 데이터에서 고객 인사이트를 생성하기 위해 AI 기반 접근 방식을 어떻게 구현하시나요? 이 풍부한 데이터의 활용을 시작하려면 먼저 몇 가지 필수 결정을 내려야 하고 과제를 극복해야 합니다.
컬렉션
조직의 규모와 관계없이, Discord, Slack, X, Reddit 등의 커뮤니티 플랫폼은 고객 감정과 피드백을 수집하기에 가장 적합한 곳인 경우가 많습니다. 이러한 플랫폼에서 귀사의 팀이 고객과 직접 나누는 대화 외에도 고객은 귀사와 귀사의 제품에 대해 동료(즉, 잠재 고객)와 이야기하면서 잠재적으로 중요한 정보를 제공하기도 합니다.
귀하는 플랫폼 규칙과 데이터 개인정보 보호 규정을 준수하면서 관련 데이터를 모두 빠르고 효율적으로 수집할 수 있는 기술을 결정해야 합니다. Sushidata에서는 Zapier를 사용하지 않고 OAuth를 사용하여 데이터 수집을 용이하게 합니다. Zapier에 연결할 때 발생하는 마찰은 저희 사용자가 원하지 않는 것이기 때문입니다. 저희는 각 소스에 특별한 주의를 기울여 해당 소스에 최대한 빠르고 효율적으로 연결할 수 있도록 노력합니다. OAuth는 저희와 클라이언트가 각 플랫폼에서 API에 연결할 수 있는 개방형 표준입니다. OAuth를 사용하면 조직에서는 공개 포럼에서 데이터를 스크래핑하는 윤리적 회색 영역에 들어가야 하지 않고도 고객 정보에 쉽게 액세스할 수 있습니다.
통합
여러 소스의 데이터를 통합하는 것은 고객 데이터를 분석할 때 가장 큰 과제 중 하나입니다. 한편으로는 사일로화된 이 모든 데이터를 한 곳으로 모아야 합니다. 하지만 어떤 정보가 어떤 플랫폼에서 왔는지 이해해야 올바른 장소에서 조치를 취할 수 있습니다.
Sushidata에서는 소스 플랫폼별로 ID를 할당합니다. 특정 제품의 문제, 버그, 기능 요청을 자세히 살펴보고 싶은 사람은 클릭 한 번으로 해당 출처로 바로 이동할 수 있습니다.
스토리지
주로 텍스트 데이터를 수집하는 사용자의 경우, 기존 데이터베이스를 사용할 수 있습니다. Sushidata에서는 각 테넌트에 대한 별도의 데이터베이스 인스턴스와 함께 Cloudflare의 서버리스 데이터베이스를 사용하여 각 조직의 데이터를 다른 조직의 데이터와 분리합니다.
이미지와 같은 다른 유형의 데이터를 포함하는 경우 벡터 데이터베이스(관련 데이터를 근접한 곳에 유지함)가 성능 속도를 높이는 데 도움이 될 수 있습니다. 저희는 Cloudflare의 개발자 플랫폼을 통해 벡터 데이터베이스에 어떤 데이터를 포함해야 하는지 결정할 수 있습니다.
또한 Cloudflare R2와 같은 개체 스토리지를 선택하면 텍스트, 이미지, 동영상, 로그, 이벤트 데이터 등 방대한 양의 다양한 데이터를 저장할 수 있습니다.
분석
오늘날 조직에서는 엄청난 양의 데이터에 액세스할 수 있지만, 해당 데이터를 사용하여 정보에 입각한 결정을 내리려면 분석이 필요합니다. AI는 모든 데이터에 태그를 지정하고 분석하여 실행 가능한 인사이트를 생성하는 데 매우 중요합니다.
적절한 AI 모델을 찾거나 구축하는 것이 핵심입니다. Sushidata에서는 여러 AI 모델에 대한 액세스를 제공하므로 새로운 모델이 출시되면 이를 유연하게 쉽게 탐색할 수 있습니다. 저희는 사용자와 가까운 에지에서 실행되는 임베딩 및 텍스트 생성 모델에 Cloudflare Workers AI를 사용합니다.
적절한 모델을 사용하면 수집한 비정형 데이터의 컨텍스트를 분석한 다음 다차원 감정 분석을 수행할 수 있습니다. Sushidata의 공동 창업자인 Victor Sanchez와 Victor Ilisei가 저와 함께 감정을 측정하기 시작했을 때, 저희는 고객이 행복한지 슬픈지 평가하는 것 이상의 일을 하기를 원했습니다. 탐색할 수 있는 감정은 훨씬 더 많습니다.
저희는 AI를 사용하여 5차원 감정 분석을 수행하기로 결정했습니다. 이를 통해 저희 고객은 자체 고객이 자신감을 표현하는지 두려움, 혼란, 명확성을 표현하는지 등을 더 잘 이해할 수 있습니다. 올바른 감정을 파악하면 취해야 할 최상의 조치를 더 잘 결정할 수 있습니다.
시각화
대부분의 경우 고객 인사이트를 사용하는 사람들은 데이터 과학자가 아니라 고객 경험 또는 커뮤니티 관리팀의 구성원입니다. 그들에게 정보를 빠르고 쉽게 전달할 수 있는 시각적 형식으로 인사이트를 제시할 수 있는 솔루션을 찾아야 합니다.
적절한 시각화 기능이 있다면, 해당 팀에서는 귀사에서 더 많은 피드백, 기능 요청, 버그 보고서, 기타 문제에 대한 언급을 받고 있는지 여부를 즉시 확인할 수 있습니다. 고객 경험팀에서는 고객 여정을 계획한 다음 해당 여정을 최적화할 수 있습니다. 고객 경험팀에서는 또한 시각화를 사용하여 회사 리더와 인사이트를 공유할 수 있습니다.
보안
고객 데이터를 보호하고 데이터 개인정보 보호 규제를 준수하는 것은 매우 중요합니다. 개별 고객의 개인정보를 보호하려면 데이터를 수집하면서 데이터를 익명화하여 개인 식별 정보(PII)를 제거하는 방법이 필요합니다. 또한 데이터 수집에 대한 플랫폼 규칙을 준수해야 합니다. 앞서 언급했듯이 멀티테넌시는 데이터 보호에 중요합니다.
자체 AI 모델을 학습시키는 경우에는 모델에 공급하는 데이터가 손상되거나 훼손되지 않았는지 확인해야 합니다. 예를 들어, 저희는 회사에서 직원과 고객 간의 대화를 포함하여 Reddit 데이터를 사용하여 생성형 AI 모델을 학습시키는 것을 살펴보았습니다. 그 회사에서는 이 모델을 포럼에 배포하여 고객 질문에 대신 답변할 계획입니다. 하지만 보유한 데이터가 깨끗하고 정확한지 확인해야 합니다. 누군가 포럼에 들어가서 사용자를 사칭하면 해당 데이터를 기반으로 하는 모델에서는 정확하고 건설적인 응답을 제공할 수 없습니다.
AI 기반 스토리텔링의 미래 구상하기
비정형 데이터에 AI를 적용하는 것은 엄청난 잠재력이 있습니다. 고객이 제품에 대해 어떻게 느끼는지, 어떤 문제를 겪고 있는지 등 고객을 더 잘 알 수 있게 되는 것입니다. 이러한 지식을 바탕으로 고객 만족도를 개선하고, 이탈을 줄이며, 궁극적으로 수익을 늘리기 위한 조치를 취할 수 있습니다.
저희는 사용자가 Sushidata에 가서 "왜 내 사용자가 떠나는 거지?"라고 묻고 AI가 사용자의 데이터를 기반으로 스토리를 들려주는 미래를 상상합니다. 해당 스토리에는 진화하는 그래픽이나 '재생' 버튼을 클릭하는 것만으로 이전에는 경험해보지 못한 방식으로 데이터를 이해하는 데 도움이 되는 대시보드를 사용할 수 있습니다.
물론, 그 비전을 실현하는 데는 몇 가지 어려움이 있습니다. 여러 소스에서 데이터를 수집하고, 해당 데이터를 분석하며, 데이터를 보호하고, 매력적인 스토리 머신을 만드는 것은 복잡한 작업입니다. 하지만 저희는 그 비전을 실현하기 위해 Sushidata를 설립했습니다.
Cloudflare는 저희가 플랫폼을 구축하고 관리하도록 지원하는 데 있어 핵심적인 역할을 했습니다. 저희는 Cloudflare 제품을 사용하여 온라인 포럼에서 발생한 수만 건의 대화를 성공적으로 분석하고 범주화하여 데이터를 일관된 고객 스토리로 변환할 수 있었습니다. 조직 에서는 이러한 스토리를 사용하여 고객의 요구를 해결하고 고객으로부터 최고의 가치를 창출하는 장기 전략을 구축하고 있습니다.
이 글은 오늘날의 기술 의사 결정자에 영향을 주는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.
이 주제에 관해 자세히 알아보세요.
개발자 속도 향상 전자책에서 최신 애플리케이션 개발의 세 가지 장애물에 대해 자세히 알아보고 개발자 생산성을 극대화하는 방법을 알아보세요.
작성자
George Portillo — @georgeportillo
Sushidata CEO 겸 공동 창업자
핵심 사항
이 글을 읽고 나면 다음을 이해할 수 있습니다.
기존 고객 데이터 분석으로 얻을 수 있는 이점
비정형 데이터의 가치를 실현하는 데 AI가 필수적인 이유
비정형 데이터를 실행 가능한 인사이트로 전환하기 위한 핵심 과제 및 전략