순대 사러 갔다 기타 사게 된 이유 (Feat. A/B test )

이번에 안쓰던 에어팟, 아이폰등 처분할 전자기기들을 모두 당근에 팔게되었다. 덕분에 갑자기 수중에 여유자금이 생겼고 바로 이것저것 관심물건들을 당근에 검색해보기 시작했다. 

 

그러다보니 전과는 바뀐 UI가 눈에 들어왔는데 키워드 알림이 상단에 위치했다가 플로팅 알림으로 변경된 것이 보였다. 전에는 한번도 키워드 알림을 써본적이 없었는데 이번에 처음으로 키워드 알림을 등록해보게 되었다

 

그리고 제목대로 동네 순대트럭에 순대를 사러 가다가 갑자기 뜬 키워드 알림으로 그 자리에서 기타를 구매하게 되었다.

 

 

그냥 멋져서 올려보는 직접꾸민 내 기타,이름은 순대라고 지었다.

 

순대 대신 기타를 들고 집에 들어오면서 키워드 알림이 유저 리텐션에 얼마나 큰 영향을 끼치는지 깨닫게 됬는데, 이번에 당근마켓 팀에서 올린 키워드 알림의 A/B test 사례를 찾게 되어 블로그에 한번 정리해 보려고 한다. 

 

---

 

기존 개선안

 

처음 실패 사례이다. 

 

담당하신 PM분은 처음에 A/B test 없이 키워드 알림을 수정했다고 한다 

 

배경과 동일한 하얀색 알림창으로 만들었기 때문에 더욱 눈에 띄지 않아 키워드 알림 등록수가 일평균 21.3% 떨어졌고,  키워드 알림을 통한 중고거래 매물의 관심과 채팅 수까지 하락했다고 한다. 

 

특히 갤럭시,안드로이드의 경우에는 하단 네비게이션 바가 있어서 덜했지만 IOS는 하단에 네비게이션 바가 없기때문에 더욱 시선이 가지 않았고 결국 안드로이드보다 6배 가량 등록율이 떨어졌다고 한다

 

---

그 후 당근마켓에서는 다시 회의 후 A/B test를 진행하였다 

 

네가지 안이 실험군으로 선정 되었고 22년 4월 6일부터 4월 17일까지 약 열흘간 실험을 실시했다. 

 

테스트 결과 C안이 기존 A안 대비 171.4% 올랐다고 한다. test 없이 변경했던 B안이 가장 낮은 전환율이었음도 확인할 수 있었다. 

 

 

이후 전체 C안으로 변경하였고 기존보다 전체적으로 알림 등록수가 올라갔음을 확인 할 수 있었다.  

 

담당 PM분의 글중 가장 인상 깊었던 부분이 있었다. 

 

 

"전체적인 큰 그림은 프로덕트 전략과 직관 쪽에 무게중심을 살짝 기울이고 그 큰 그림을 그려나가는 과정에서 데이터 기반 의사결정을 놓치지 않는 것이 좋은 균형이다.' 

나 자신이 모든 유저들을 대표 할수 없음을 알고 직관과 데이터 사이의 줄타기의 중요성을 깨달을 수 있었다. 

만약 내가 당근마켓의 PM이라면 어떠한 A/B test를 기획해 볼수 있을까? 

 

키워드 알림 등록율을 더 증가 시키기 위해 팝업 창을 추가 한다면 어떨까? 

 

검색 리스트에서 상품을 들어가서 계속 보지 않고 2-3분간 스크롤만을 내리고 있다면 (더 짧은 시간은 오히려 유저에게 피곤함을 가져올 것) 

A안  기존안

B안  "원하는 조건의 상품이 없으신가요? 키워드 알림을 통해 원하는 상품 정보 알림을 받아보세요 "

C안  플로팅 알람이 진동하는 애니메이션 효과

 

이렇게 약 일주일 정도 진행하여 키워드 알람 등록율 증가에 대한 데이터를 받아보고 싶다는 생각이 들었다. 

---

이어서 해외 사례들도 조사해보았다.  수많은 해외 사례들을 보면서 많은 인사이트를 얻을 수 있었는데, 아쉽게도 해외 사례들은 위에 당근처럼 정확한 수치를 공개하지 않는 곳이 대부분이었다. 아쉽게도 전환율 정도만 공개했다.... 

 

자선영리 단체 Kiva는 기부금을 받아 빈곤층이나 스타트업 기원을 후원하는 단체이다.

 

사실 그외에 내가 찾아봤던 대부분의 A/B test는 간소화에 집중을 한 느낌이었다 (ex 텍스트 줄이기). 전환율을 늘리기 위해 유저의 할일을 최소화 하는데 집중하는 것이 대부분이었다. 

 

하지만 Kiva는 오히려 더욱 정보를 추가하였다. 

기존의 Kiva

기존의 긴 스크롤을 줄이고 설명을 추가,자동으로 화면이 전환되도록 바꾼 A안

 

후원 문구를 강조한 B안

 

비디오를 추가한 C안

 

기존안에서 하단에 사이트의 FAQ와, 신뢰성을 높이는 정보를 추가한 D안

결과는 A,B,C에서 유의미한 차이는 찾을수 없었고 FAQ나 후원을 통한 사회적 통계 자료등을 추가함으로써 서비스의 신뢰도를 높이고 11.5% 기부금이 증가했다고 한다. 

 

 

이 A/B test를 진행한 사람의 말을 따르면 Kiva에 접속하는 방문자는 더 많은 정보에 굶주린 사용자이다. 디자인이나 예쁜 그래픽에 초점을 맞추는 것이 아니라 유익하고 신뢰할 수 있는 요소에 초점을 맞추는 것이 중요했다고 한다. 

 

나 또한, 예쁘고 보기 좋게 개선하는것이 최우선이라고 생각했었기 때문에 많은 깨달음을 얻을 수 있었다.  후원사이트라는 특성을 정확히 잘 파악했기때문에 성공할수 있었던 Test라는 생각이 들었다 

 

하지만 아쉬웠던 부분은 4가지 개선안이 너무 중구난방인것 같았다. 배너에 집중할 것인지, 정보를 추가할 것인지 목표가 너무 모호하다 

 

상단 배너 A B C 세가지로 테스트를 진행한 후에  현재 D안을 추가할지로 두번째 테스트를 추가 진행해본다면 더 좋은 결론을 얻을수 있지 않을까 하는 아쉬움이 남았다 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

참고 아티클 

 

https://www.conversionvoodoo.com/blog/2014/01/conversion-case-study-kiva-org/