안녕하세요, 8기 AIA2Z방 몽주입니다.
드디어 짬을 내어 GPT 4.0을 둘러보니 “Data Analysis” 기능에서 데이터 분석도 지원한다는 것을 발견했습니다. 이전 직무에서 간단한 광고 데이터 분석을 많이 했었고, 현재는 이러한 분석 실무를 가르쳐야 하는 입장이 되었기 때문에 GPT의 도움을 받을 수 있을지 궁금해서 냉큼 시켜보았습니다.
(참고로 대화에서 계속 언급되는 ROAS (Return on Ad Spend)는 광고비 대비 수익을 비율로 나타낸 것으로, 한마디로 광고 돌리는게 매출 성장에 얼마나 도움 이 되는지를 알려주는 지표입니다. ROI (Return on Investment) 와 비슷하다고 보시면 되는데, 자세한 내용이 궁금하면 연락주세요 ㅎㅎ)
교수님봇에서 아이디어를 얻어 GPT는 물론 Veluga에게도 광고 매체 또는 대행사의 고객 관리자로서 역할 할 수 있도록 학습시키고 답변을 요구해보았고, 전체적인 흐름은 이렇습니다.
1) GPT 4 - Data Analysis에 광고 데이터 (ROAS 성과) 그래프 분석 요구
2) GPT 4 - Data Analysis에게 “ROAS 추이에 따라 고객관리자가 취해야 할 행동” 그림 학습시키기 (분석)
3) Veluga에게 “ROAS 추이에 따라 고객관리자가 취해야 할 행동”을 학습시키기
4) Veluga에게 ROAS 추이 분석 결과를 알려주고 이에 따라 고객 관리자로서 어떤 행동을 해야할지 문의하기
결론부터 말씀드리면, 간단한 자료로 학습시킨 로직을 사례에 적용하도록 하는 것은 쉽지 않은 것 같아서 저는 아직 똑똑한 사람이랑 일하는 것이 나을 것 같고, 이번 시도에서는 Veluga에 비해 GPT가 조금 더 나았습니다. 프롬프트는 물론이고 학습시키는 자료에 대한 고민도 해보아야 할 것 같아요.
1) GPT 4 - Data Analysis에 광고 데이터 (ROAS 성과) 그래프 분석 요구
처음 질문에 대한 답에서는 지나치게 자세하거나 (=캠페인 별로 추이를 분석한 내용, 요청하지 않았음) 지나치에 두루뭉술한 답변 (=요약)을 섞어서 주었습니다. 결과적으로 제가 요구했던 요약만 읽는 경우 ROAS가 얼마에서 얼마로 변했는지에 대한 정보가 없어 어떤 판단 및 후속 조치를 하기 어려웠습니다.
시작하기 전에 GPT에게 역할을 부여해주고 그 역할에 맞춰서 분석하도록 했다면 더 나았을 것이라는 생각이 이제야 드네요. ㅎㅎ
그래서 요약에 대해 다시 한 번 요청해보았습니다. 구체적으로 원하는 형식을 주면 너무 다 알려주는 셈이 되어서 필요한 사항을 짚어주었는데, 여전히 요약은 쓸만한 정보가 없었습니다.
프롬프트를 “~수치를 언급하면서 전체적인 트렌드를 요약해줘” 라고 했는데, “면서” 를 영어의 and 처럼 해석하고 수행한 것 같고, 그게 요약이 불충분하게 된 이유인 것 같아요. 제 의도는 전체적인 트렌드를 요약할 때 수치도 언급해달라는 것이었거든요.
그래서 한 번 더 갈궜습니다. 이번에는 “수치를 언급하면서 전체적인 트렌드를 요약해줘”가 아닌 “수치를 언급한 전체적인 트렌드” 를 요청했습니다. 그랬더니 원하는 답이 나왔어요.
2) GPT 4 - Data Analysis에게 “ROAS 추이에 따라 고객관리자가 취해야 할 행동” 그림 학습시키기 (분석)
분석에 성공했으니 이제는 기본적인 대응 원칙을 알려주고, 분석한 내용에 따른 제안을 해보라고 했습니다. 제안에서 구체적인 액션 플랜은 시키지 않아도 잘 찾아왔는데, 오히려 큰 틀에서 제안 방향을 잘 못 짚었습니다.
캠페인 A의 경우 성과가 좋아졌다고도, 나빠졌다고도 보기 어려우며 ‘안정적인 성과를 유지하고 있다’고 언급했지만 확장 제안 (upsell)을 했고, 캠페인 B는 오히려 ROAS 하락 트렌드이지만 성과를 긍정적으로 보았습니다. 특히 “높다”고 판단할 기준이 없는 상태인데 높은 ROAS라고 하네요. 이래야 잘 팔 수 있는건가요
그래서 ROAS 트렌드에 따른 제안 흐름도 그림을 준 뒤 이것에 따라 제안해보라고 했습니다. (지금 보니 흐름도가 아니라 분석에 대해 더 갈궜어야 하겠네요.) 그랬더니 GPT는 “흐름도 분석 내용”을 제안이라고 제시해버렸고, 그 분석 내용도 흐름도를 완전히 반영하지는 못했습니다. 발 같은 손으로 대충 그려서 가독성이 떨어지는 점을 고려하면 그러려니 할 만 합니다만..
그래서 GPT가 잘못 가정하고 있는 것 같은 부분을 고려하여 다시 요청을 넣었고, 프롬프트 엔지니어링 팁을 활용한 몇 번의 추가 갈굼 (잘 했어, 이 부분은 어떻게 생각해?, 이것밖에 못 해?, 다시 생각해봐 등) 끝에 원하는 답을 얻었습니다. Target ROAS 정보가 제공된 적이 없다는 점을 제가 지적하기 전까지는 스스로 인지하지 못하는 점이 신기했습니다.
그 후 제가 손으로 그린 그림을 보기 좋게 만들어서 Veluga를 학습시키기 위해 위해 다시 그려서 PDF 파일로 달라는 요청을 했는데, 한글 내용이 다 깨지더라구요, 이 부분을 여러 번 지적하고 인코딩 관련 대화를 했음에도 결과는 실패였습니다. 영어가 아닌 언어를 처리하는 부분에 아직 한계가 있나봅니다. 그리고 여러 번의 요청하는 과정에서 그림의 구성이 바뀌기도 하더라구요. (제대로 이해하지 못한 것 같은데, 이건 제 인풋 자체가 구린 탓이 크다고 봅니다 ㅎㅎ)
3) Veluga에게 “ROAS 추이에 따라 고객관리자가 취해야 할 행동”을 학습시키기
예쁜 로직도 PDF 파일로 학습 시키는것은 포기하고, 한글로 풀어써서 학습시키기를 시도했습니다.
일요일 밤에 동일한 내용을 .md / .docx 확장자 두 가지로 업로드 해봤는데 학습 오류가 나더라구요ㅠ 유럽 기준 토요일 낮시간대인게 Veluga에도 영향을 미치는 건진 모르겠지만.. 월요일에 동일한 파일을 다시 업로드하니 겨우 학습이 가능했습니다.
챗봇의 아이덴티티는 어카운트 매니저 (고객 관리자)로 설정했습니다. - 그런데 이게 GPT에 설정하는 것처럼 학습 효과가 있는 것인지, 그냥 설명을 쓰는 것인지는 모르겠네요.
4) Veluga에게 ROAS 추이 분석 결과를 알려주고 이에 따라 고객 관리자로서 어떤 행동을 해야할지 문의하기
실제로 업무 요청을 할 때처럼 작성해보았습니다.
“안녕하세요 매니저님, 캠페인 ROAS 요약을 공유해드립니다. 이에 따른 전략을 제안해주세요.” + GPT가 분석해준 요약 내용 붙여넣기
그랬더니 입력한 내용과 거의 동일한 캠페인 성과 요약과 학습시킨 로직을 단순히 뱉어냈습니다. 이 결과는 어떤 내용에 대해 설명해달라고 했을 때에 기대할만한 답변이고, 이 내용을 어딘가에 적용한 답변을 요구하는 것은 무리인가 하는 생각이 들었습니다.
그렇지만 GPT는 어느 정도 응용을 할 줄 안다는 것을 알기 때문에, GPT 기반으로 돌아가는 Veluga도 마찬가지로 가능해야 한다고 생각해서 요청사항을 간단하게 줄여서 다시 시도했습니다.
그랬더니 이전보다는 나은 답변을 주었는데요, GPT와 마찬가지로 Target ROAS 정보가 없는 상태인데 이를 되물어보지 않고 온라인 학습을 통해 찾을 수 있는 일반적인 대응 내용을 안내해줬습니다.
(지금 생각해보니 저는 GPT 4를 사용했는데, Veluga는 3.5로 설정되어 있어서 더 실망스러운 결과를 받아본 것 같기도 하네요! 시간이 나면 GPT 4를 기반으로 하도록 설정하고 테스트해봐야겠습니다.)
지친 저는 아래와 같이 물어보고 포기하고 말았답니다.. 대다수의 고객들이 헬프센터 검색과 챗봇 상담을 꺼려하는 이유를 다시 한 번 절실히 깨닫고, 그래도 언젠가 끝내주는 챗봇을 만들어보면 좋겠다는 생각을 해봅니다.
꽤나 긴 사례인데 읽어주셔서 감사합니다. 사례를 정리하면서 반추하니 실험을 해 볼 때에는 미처 생각하지 못했던 인사이트를 얻게 되네요.