AI(GPT-3)를 활용한 웹페이지 A/B/N 실험 사례

아티클

아티클 요약

• 웹페이지 퍼포먼스 개선을 위하여 AI(GPT-3)로 메시지를 생성해 성과를 측정
• 18개 테스트 결과 3개는 AI 우위로, 1개는 AI 열위로, 그 외 항목은 유의미한 편차 없음
• 메시지 구성 단계에서 AI가 생성한 메시지를 탐색, 개선하며 작업 시간을 단축하는 것을 추천

A/B/N 실험과 GPT-3 활용

• A/B/N 실험은 신규 버전의 제품을 샘플 고객 집단(실험군)에게 제공하고, 기존 제품을 다른 샘플 고객 집단(대조군)에게 제공하여 정해진 기간 동안 실험군과 대조군에서 나타난 제품 성과를 측정한 다음 유의미한 차이가 있는지, 있다면 어떤 유형의 차이인지 추적
• A/B/N 실험 단계는 다음 7단계로 구성: ① 척도 설정, ② 가설 설정, ③ 가설 검정 설정, ④ 최소 샘플 사이즈 설정, ⑤ 실험 기간 설정, ⑥ 실험 실행, ⑦ 결과 분석
• GPT-3은 대형 언어 모델로, A/B/N 실험 단계 중 ⑥ 실험 실행에 쓰일 메시지 생성에 사용

A/B/N 실험 사례

• Schneider's: 1개 실험군 배너 클릭이 7.06% 높음(uplift)
• Clark Germany GmbH: 3개 실험군 CTA 클릭이 각각 9.13%, 15.77%, 7.13% 높음(uplift)
• Booking.com: 1개 실험군 CTA 클릭이 1.7% 높음 (uplift) 

A/B/N 실험 사례 해석: 어떻게 활용하는 것이 좋을까?

A/B/N 실험을 위한 프롬프트 추천

1. 페르소나 또는 직무 부여
2. 배경 및 맥락
3. 목표
4. 과제 [필수]
5. 응답 형태 지정 (프레임워크, 조건, 톤, 스타일, 글자수 제약 등) [추천]

사례 1. 헤드라인 신규 생성 [출처]
I want you to act as a fancy title generator. I will type keywords via comma and you will reply fancy titles. My first keywords are [keyword 1], [keyword 2], [keyword 3]

사례 2. 헤드라인 개선 [출처]
Rewrite a headline for [LP URL] that explains [unique value proposition] and includes the phrase [keyword phrase].

사례 3. 구글 광고 RSA [출처]
Create two Google Ads in an RSA format using multiple headlines and descriptions for an A/B test for “Ms. Hvac’s HVACs.”. Explain why the ads would make a good test. 

ChatGPT를 활용한 디지털 마케팅 프롬프트 사례

• Ajay Yadav, 5 ChatGPT Prompts For Unstoppable Copywriting (2/7/2023)
• Amy Hebdon, ChatGPT for PPC marketers: 15 strategic prompts to use today (2/1/2023)
• Ariel Levin, Awesome ChatGPT Prompts (1/11/2023)
• Dave Chaffey, The best prompts for using ChatGPT for digital marketing (1/22/2023)
• Harry Guinness, How you can (and when you shouldn't) use ChatGPT to write marketing copy (1/19/2023)
• Rob Lennon, ChatGPT Mega-Prompt (1/17/2023)