tmi

지난 글에서 브랜드 데이터를 한 곳에 모으고, 팀 누구나 자연어로 물어보는 공용 챗봇을 붙였다. 사용성은 매우 구렸다. 사실상 챗봇이 필요 없어졌기 때문.

챗봇이 후져서가 아니다. 그 사이 팀원들이 각자 LLM을 능숙하게 쓰게 됐기 때문이다. 깨끗한 데이터 파이프라인을 만들었고, LLM을 통해 이를 각자의 셋업에서 접근하고, 활용할 수 있도록 팀원들에게 간단한 클로드 코드, 코덱스 사용법을 알려주었다. 보안 프로토콜만 잘 지킨다면, 이것이 비용 효율적이고, 아웃풋도 보장되는 방식이라고 생각한다.

하지만 이 과정(llm 실행)을 매번 거치면서 데이터를 분석하고 현황을 파악하는 건 오버 엔지니어링에 가깝다. 결국 습관적으로 빠르게 볼 수 있는 대시보드 형식이 여전히 유효하다는 것을 깨달았다.

1. 펼쳐진 레이아웃 + 패널 형식

KPI 대시보드 — 펼쳐진 레이아웃

반복 모니터링이 쉽게 보여지려면 ‘펼쳐진 화면’이 필요하다. 쇼피파이의 Analytics를 수년간 사용하며 이 형식에 익숙해졌고, 위에서부터 아래로 훑는 방식이 나한테 그리고 우리 조직에 편했기 때문에 이렇게 디자인했다.

그냥 요청하면 깔끔하게는 나오는데 ai 냄새가 많이 나서, apple 느낌의 미니멀한 디자인을 차용하려고 했다. 그래프 형식은 iOS 기본 앱인 ‘health’의 UI를 참고했다. (근래 수면 밀도를 체크하려 health 앱을 자주 이용하는데, 거기서 나오는 그래프 표현 방식이 꽤나 괜찮아보였다)

그리고 좌측은 패널로 각 페이지 디깅이 직관적으로 보이도록 구성했다. 이것도 쇼피파이에서 사용하는 방식이다.

2. 온사이트 데이터를 어떻게 볼 것인가

온사이트 — 논페이드 vs 페이드 전환

쇼피파이와 같은 전자상거래 서비스는 온사이트 데이터 분석을 자체적으로 지원한다. 하지만 GA4와 비교하면 뎁스가 깊은 곳도 있고, 얕은 곳도 있다. 그래서 1st party인 호스팅사의 데이터, 그리고 GA4를 병행해서 수집하는 조합이 지금으로는 가장 최선이라고 생각된다.

온사이트 지표를 점검할 때, 큰 틀에서 작은 틀로 내려가는 내 방식에 맞춰서 대시보드 순서 위계도 취향껏 설정했다.

나는 온사이트 지표를 볼 때 논-페이드와 페이드 트래픽을 발라내어 성과를 보는 것을 중요시한다. 웹사이트 지표는 트래픽의 퀄리티와 연결 관계가 깊기 때문이다. 논-페이드 사이드에 문제가 생긴다면 그것은 웹사이트 내 문제로 첫 진단을 내린다. (대부분의 경우 페이드 쪽의 변동성이 크다.)
다음으로 제품, 컬렉션별 전환율을 별도 체크한다. 전환율이 높은 제품은 페이드 트래픽을 넣어줄 룸이 있다고 판단한다. 그리고 트래픽이 많은데 전환율이 낮은 제품은 어디가 문제인지 점검하거나, 페이드 비중을 낮춰준다. 간단해보여도 여기서 데이터 정제하는 게 꽤 빡세다.

먼저, 옵션이 있는 제품의 경우에는 첫 번째 랜딩 안에서 옵션이 변경되거나 할 때, 이를 세션으로 기준을 잡게 되면 추가 카운팅이 안 된다. 이를테면 A라는 제품을 판매하는데, 컬러 옵션이 여러 개일 경우 세션 집계로 진행할 때 처음 랜딩된 하나의 컬러에만 트래픽이 잡힌다. 그래서 여기서의 전환율 집계는 세션이 아니라, 페이지뷰 기준으로 들어가야 정확해진다. (페이지 전체의 전환율이랑 별개의 뷰로 봐야 한다는 것)

그리고 같은 이유에서 옵션 별로 path(URL)를 다르게 셋업하게 되는데, 이때 옵션이 아닌 하나의 제품. 즉 A라는 제품의 통합 전환율은 별도로 합산 집계해야 한다. 그래서 제품이 추가될 때마다 룰 베이스 매핑이 필요하다. llm 사용하면 금방 하니까 요즘은 더 쉽게 구현할 수 있다. 요지는, 브랜드마다 보는 뷰가 다르고 큰 틀에서 내려오는 걸 선호하는 나는 제품 자체로 한 번 보고, 그리고 옵션으로 드릴다운해서 본다. 이번 대시보드도 그렇게 설계했다.
여기까지가 원래 하던 온사이트 분석이었고, 다음부터는 이번에 새롭게 도입한 신세계(?!)를 소개해보려고 한다.

3. 정성적 분석을 정량으로: AI가 레코딩을 읽는다

세션 리플레이 큐레이션 — AI가 태그를 붙인다

온사이트 분석에서 고객 구매 여정을 가장 확실하게 파악할 수 있는 방법이 있다. 세션 리플레이(레코딩)를 직접 보는 것이다. 브랜드 신규 론칭을 하고, 한동안은 이걸 직접 봤다. 솔직히 수십 개를 보는 것도 집중하기 힘들다. 그런데 트래픽이 늘어나면 사실상 관심을 놓게 된다. 물리적으로 수천 개 세션을 다 볼 순 없다.

그런데 이 작업을 AI에 넘겨본다면? 일단 불가능하지는 않을 거라는 생각이 들었고, 문제는 그 정확도가 어떤지 검증이 필요했고, 그리고 이걸 돌리는 데 필요한 토큰에 대한 걱정도 있었는데. 여튼 일단 해봐야 아니까, 솔루션부터 찾았다.

기존에는 유명세 때문에 별다른 비교분석 없이 Hotjar를 사용했었다. 새롭게 리서치 하면서 PostHog라는 솔루션을 알게 되었고, 실비 청구 개념이라 비용이 핫자보다 훨씬 저렴했으며, llm 분석이 용이한 형태의 데이터를 제공한다. 요즘에는 다 필요없고, llm이 접근하기 용이한 솔루션이 가장 최고인 것 같다.

하튼 그래서 PostHog로 전 세션을 녹화하며 며칠간 축적된 데이터로 프레임 단위 판독을 진행했다. 모든 세션에 대해 레코딩 분석을 하는 것은 낭비기에 ‘몰입’ 세션, 즉 인게이지먼트가 있는 세션만 후작업을 진행하는 식으로 구분을 시작했고, 몇 번의 시행착오 끝에 꽤나 그럴듯한 분류 체계를 만들 수 있었다.

문제는 이걸 api로 돌리려면 비용 소모가 컸기에, 회사에 남는 맥 스튜디오에 로컬 gemma4를 설치했고, 새벽 시간대에 자동으로 프레임 단위 분석을 수행하게 했다. 퀄리티는 우려보다 낮았으며, 그렇게 나온 분류 체계가 지금도 계속 누적되어 저장되고 있다. 또한 특별 기간에 대한 심층 분석이 필요할 때는 Claude나 Codex를 활용해서 딥 다이브가 가능하다. 직접 리플레이를 볼 수 있는 섹션도 추가했지만 사실상 사용성은 떨어진다. (리플레이 보는 건 지겹다)

이탈 사유 분포 — 의도 라벨

현재는 ‘이탈 서사’에 집중하고 있다. GA4가 뭉뚱그려 ‘이탈’이라 부르던 걸, 의도로 쪼갠다. 왜 떠나는지, 어디서 떠나는지, 어떤 공통된 액션을 하고 떠나는지. 그리고 그 떠나는 지점을 개선해보는 방향으로 액션을 설계한다. 꽤나 재밌는 작업이다.

4. 타율 좋은 인풋을 누적한다

Pulse — 니치 바이럴 아카이브

패널 내 Pulse 탭을 만들었다. 여기서는 콘텐츠 아이디어를 수집한다. 디지털 광고, 그리고 자체 콘텐츠가 중요도가 계속해서 높아지고 있는 가운데, 그저 주관적으로 아름다운 콘텐츠는 성과를 만들어주지 못한다.

실제로 바이럴되고 있는 니치 바이럴 콘텐츠(YouTube/IG/TikTok)를 수집해 ‘콘텐츠 아이디어 인풋’으로 쌓는 아카이브의 필요성을 느꼈다.

마찬가지로 24시간 돌아가는 맥 스튜디오를 통해 아카이브되고, 콘텐츠 결이 우리가 운영하고 있는 브랜드에 적용할 법한 것들은 별도로 추가 분류한다. 재밌는 건 이 작업을 모두 llm이 한다. 바이럴 포인트를 감으로 체득하고 있어야만 좋은 콘텐츠를 생산할 수 있는 시대이다. 이 감을 만들어주려면 시간이 필요하다. 매주 회의에서 추려진 콘텐츠들을 함께 리뷰하는 것만으로도 조직의 바이럴 파워가 올라갈 것이라고 믿는다.

5. 기술 스택

솔직히 기술 스택은 이제 중요하지 않다. 목표를 만들고, 그걸 이루기 위한 방법을 최선안으로 찾는다. 그리고 그냥 구현하면 된다. 과정 중에 돈만 아끼면 된다. 그래서 매번 구현하기 전에 더 좋은 도구들이 나왔는지 찾아봐야 한다. 무료가 유료보다 많은 세상이니까.