본문으로 건너뛰기

(8기)CS 데이터 전처리를 위해 Persona + Recipe Pattern/Few shot + Template Pattern로 최종 결과물 받기

박영춘

2023.12.04


7기부터 숙원 과제였던 CS 비정형 데이터 전처리…

https://www.gpters.org/data-science/post/-v48D1rElFN9dTRW

이번에 다시 도전했습니다!!

결과는 느낌적 느낌으로 대충 70% 정도 전처리가 되었습니다만, 개인정보 및 회사 정보가 포함된 데이터들이라, 실제 완성된 버전이 아닌 과정만 구현한 것을 살짝 보여드립니다(ㅠㅠ)

https://chat.openai.com/share/b4c2d40e-9ce0-46df-b430-1da5ba7550e1

주요 과정)

1) Persona Pattern 주기(안 틀리도록)

2) Persona의 Recipe Pattern 활용해보면서 마음에 안들면 Few shot 추가하여 전처리 규칙 주기

3) Template Pattern으로 전처리한 결과값을 csv에 입력해달라고 요청하기


위의 링크에서는 원본 데이터를 다 넣고, 태그 리스트를 만드는 과정을 생략했습니다만, whisper AI(STT)로 대략적인 원본 음성들을 다 추출한 뒤, 콜 당 내용들만 분리한 상태로 GPT에 넣어 태그 추출을 부탁했습니다.

제가 생각한 것과 거의 비슷했지만, 특수한 문제해결을 위해 약간만 손을 봐줬고, 학습을 위해 Few shot prompt를 추가하였습니다.


그랬더니 새로운 칼럼에 대략적인 전처리가 완성되었습니다!
7기 과정 + 8기 과정을 조합하느라 시간이 조금 걸렸는데, 회사 데이터라 아주 일부분만 공개 가능한 것이 아쉽네요 ㅠㅠ

6

함께 이야기해요 6

로그인하고 댓글을 남겨 주세요

박
박영춘2023.12.06
뭔가 빼먹었는데,,, 못 찾았다가 다른 분들 내용보고 늦게나마 올립니다!

키믄별 프로필 이미지
키믄별2023.12.04
 크! 진짜 멋집니다! 저도 해보고 싶은데 ㅠㅠ 회사 정책이 아직은 데이터 GPT업로드 불가라.. ㅠㅠ 영춘님보면서 응원하겠습니다!!! (리소스 벌어서 POC 너무 부럽습니다 ㅠㅠㅠ)
박
박영춘2023.12.04
 통계적 유의성 생각하지 않고, 위에서 100개만 추출해봤는데 제가 만들어둔 태그와 70% 정도 일치했습니다!

실제 제가 100% 정답이었다면 약간 아쉬운 수치였겠지만, 저도 애매한(?) 사항들에 대해서는 같이 틀리거나, 둘 다 틀리는 경우들이 종종 존재했습니다 ㅋㅋ
그리고, 특정 상황에 대해 한 가지 상황만 있는 것이 아니라 두 가지 이상의 문제 해결 상황도 있는데, 그런 경우에 틀린 것은 아니고 다른 상황을 고르는 경우가 있었습니다! 
키믄별 프로필 이미지
키믄별2023.12.04
오! 전처리 만족도나 완성도가 어느정도나 되는지 저도 귱금합니다!
윤누리 프로필 이미지
윤누리2023.12.04
오... 실제로 데이터 전처리를 어디까지 잘 해주었는지 정말 궁금합니다. few shot 프롬프팅을 정말 적절히 잘 사용하신 것 같은데요?
박
박영춘2023.12.04
강의 수강 인증샷입니다~

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기