본문으로 건너뛰기

AI(GPT-3)를 활용한 웹페이지 A/B/N 실험 사례

정아람

2023.02.10

아티클


아티클 요약

  • 웹페이지 퍼포먼스 개선을 위하여 AI(GPT-3)로 메시지를 생성해 성과를 측정
  • 18개 테스트 결과 3개는 AI 우위로, 1개는 AI 열위로, 그 외 항목은 유의미한 편차 없음
  • 메시지 구성 단계에서 AI가 생성한 메시지를 탐색, 개선하며 작업 시간을 단축하는 것을 추천

A/B/N 실험과 GPT-3 활용

  • A/B/N 실험은 신규 버전의 제품을 샘플 고객 집단(실험군)에게 제공하고, 기존 제품을 다른 샘플 고객 집단(대조군)에게 제공하여 정해진 기간 동안 실험군과 대조군에서 나타난 제품 성과를 측정한 다음 유의미한 차이가 있는지, 있다면 어떤 유형의 차이인지 추적
  • A/B/N 실험 단계는 다음 7단계로 구성: ① 척도 설정, ② 가설 설정, ③ 가설 검정 설정, ④ 최소 샘플 사이즈 설정, ⑤ 실험 기간 설정, ⑥ 실험 실행, ⑦ 결과 분석
  • GPT-3은 대형 언어 모델로, A/B/N 실험 단계 중 ⑥ 실험 실행에 쓰일 메시지 생성에 사용

A/B/N 실험 사례

  • Schneider's: 1개 실험군 배너 클릭이 7.06% 높음(uplift)
  • Clark Germany GmbH: 3개 실험군 CTA 클릭이 각각 9.13%, 15.77%, 7.13% 높음(uplift)
  • Booking.com: 1개 실험군 CTA 클릭이 1.7% 높음 (uplift) 

A/B/N 실험 사례 해석: 어떻게 활용하는 것이 좋을까?



A/B/N 실험을 위한 프롬프트 추천

  1. 페르소나 또는 직무 부여
  2. 배경 및 맥락
  3. 목표
  4. 과제 [필수]
  5. 응답 형태 지정 (프레임워크, 조건, 톤, 스타일, 글자수 제약 등) [추천]

사례 1. 헤드라인 신규 생성 [출처]
I want you to act as a fancy title generator. I will type keywords via comma and you will reply fancy titles. My first keywords are [keyword 1], [keyword 2], [keyword 3]

사례 2. 헤드라인 개선 [출처]
Rewrite a headline for [LP URL] that explains [unique value proposition] and includes the phrase [keyword phrase].

사례 3. 구글 광고 RSA [출처]
Create two Google Ads in an RSA format using multiple headlines and descriptions for an A/B test for “Ms. Hvac’s HVACs.”. Explain why the ads would make a good test. 


ChatGPT를 활용한 디지털 마케팅 프롬프트 사례

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

김욱영 프로필 이미지
김욱영2023.05.02

편집 영상입니다! 같이 보세요 ㅎㅎ

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기