GPT-3 / ChatGPT 기반의 아티클 작성 테스트 및 평가

아티클


아티클 요약

  • ‘긴 형식의 의미 있는 아티클’ (기사 또는 블로그 게시물) 생성 성과 비교를 위하여 GPT-3 기반의 AI 카피라이팅 솔루션 5가지(Anyword, Copy AI, Scalenut, Copymatic, Frase)와 ChatGPT를 테스트
  • 2개 기사의 공통 측정 기준은 ① 시사성(Topicality), ② 사실성(Factuality), ③ 일관성(Coherence), ④ 문법(Grammar & Spelling). 이밖에도 ChatGPT 평가를 위하여 고유함(Uniqueness)과 스타일을 평가
  • 테스트 결과 시사성과 사실성에서는 주제에 벗어난 이야기를 하거나 완전히 틀린 문단을 포함. 일관성의 측면에서 저평가. 스타일에서는 지나치게 장황한 경향이 있어 전반적으로 활용을 추천하지 않음

시사점

다음 세 가지 영역에서 활용하는 경우, 사람의 개입을 최소화하며 최대한의 성과
  1. (글쓴이가 알지 못하는) 신규 주제에 대한 일반적인 아이디어 요청
  2. 메시지 작성을 위한 초기 브레인스토밍에 활용
  3. 짧은 문구 작성 또는 다시 쓰기(re-phrasing)

하지만, 장문의 아티클을 ChatGPT로 생성하되 응답을 최대한 개선하고자 하는 경우 다음 사항을 고려
  1. 사실성: 교차 점검이 어려운 질문은 하지 않음, 근거를 요청하고 없을 시 ‘없다’고 답변하도록 요청
  2. 일관성: 입장 명시(찬성 또는 반대), 문단별 핵심 메시지 제시, 문단 단위로 작성 요청
  3. 스타일: 스타일 제시(청중 설정 또는 대중적인 작가/잡지), 문단 단위로 작성 요청

연관 아티클

6
2개의 답글

(채용) 마케팅 리드, AI 엔지니어, 유튜브 PD, SNS 크리에이터

지피터스의 콘텐츠 플라이휠로 고속 성장할 팀원을 찾습니다!

👉 이 게시글도 읽어보세요