🔥 지피터스 스터디 리텐션 계산 with ChatGPT o3, Claude 3.7 sonnet, Manus.ai, Cursor... 과연 승자는?

🔎 Intro – 리텐션 분석이 뭐라고 이렇게 힘들어?

지피터스 AI스터디 기수별 리텐션을 분석해 보려고 했습니다.

한 기수를 듣고, 다음 기수에 이어서 듣는 멤버 수를 계산하는 것이 목적이에요! 이번 기수에 만족했다면, 다음 기수에 이어서 등록할 확률이 높겠죠? 그런데 데이터가 난장판입니다. 🥹

왜 난장판이냐면?

초기에는 전화번호, 이름 검증 없이 신청서를 받았고 (구글 폼, 이벤터스), 이후 지피터스 자체 시스템을 구축했지만 그 과정에서도 데이터 구조가 바뀌거나, 데이터 이관 과정에서 값이 틀어지는 경우가 있었습니다.

👉 유니크 유저 매칭이 너무 어려움 (살려줘)

• 전화번호가 엉망: 000-0000-0000 같이 기입하거나, 데이터가 꼬여서 같은 번호에 다른 사람이 물려 있는 경우, 전화번호에 오타를 낸 경우가 있습니다.

• 이름이 불안정: 동일 인물인 경우에도 실명(윤누리), 영어로 표기(Nuri Yoon), 닉네임으로 표기(누리) 등.. 다르게 제출되어 있거나, 동명이인을 발라내기 힘듭니다.

• 예외 케이스 - 12기 : '기수' 단위가 잠시 없었던 시기가 있는데요, 이때는 다양한 스터디가 그때그때 생겼습니다. 해당 기간에 여러 스터디를 참여한 멤버가 있었어요. 12기 등록 횟수가 3번, 2번인 멤버들이 있었죠. 예외처리를 해줘야했습니다.

때문에 초기 데이터는 절대로 정확한 계산은 불가한 상황이라, 대략적인 경향성이라도 잘 볼 수 있도록 근사치라도 뽑아보자! 라는 의지로 AI 도구들을 총출동시켰습니다.

ChatGPT o3, Claude 3.7 sonnet, Manus.ai야 도와줘 ㅠㅠㅠ

📝 사용한 프롬프트

나 진짜 너무 힘들어. 1-15기 참여한 스터디 멤버들의 리텐션을 보려고해.

1기를 참여하고 직후 2기를 참여한 사람
2기 참여 후 직후 3기 참여한 사람
이렇게 직후 등록 리텐션을 보고 싶은데 문제는 이거야.

유니크 유저를 발라내기가 힘들어.
1. 핸드폰 번호가 정확하지 않음
   1. 초기에는 사람들이 000-0000-0000 막 이런식으로 등록을 한 경우도 있어서 핸드폰 번호로 어느 정도 데이터 정리는 될텐데 이상한 경우들이 있고
중간에 데이터가 꼬이면서 분명히 다른 사람인데 동일한 번호가 들어간 케이스가 있어.
2. 이름이 정확하지 않음
   1. 어떨 때는 실명을 썼다가 (윤누리) 어떨 때는 영어로 썼다가 (Nuri Yoon), 어떨때는 닉네임으로 쓰는 등... 이름만 가지고 유저를 매칭하기 어렵고, 동명 이인 이슈도 있어.

결과적으로 절대 정확한 계산은 할 수 없겠지만 최대한 근사치에 맞게 계산을 하고 싶어.

전화번호 기준으로 우선 리텐션을 보고
동일 기수에, 동일한 전화번호가 있는 경우에는 이름을 기준으로 리텐션을 보고
혹은 네가 생각했을 때 다른 좋은 기준으로 리텐션을 정리해봐.

🧠 chatgpt o3

1차 시도

• 바로 계산해주지 않고, 이런식으로 데이터를 정리하면 될 것 같다 이렇게 훈계만 해서

• 그러지말고 캔버스를 켜서 직접 계산을 하라고 했습니다.

ALT

한국어는 화면에 표시됩니다

• 그런데 바로 계산해줄 것처럼 하더니 코드를 짜기만 하고 계산은 안 해줍니다. 여기서 계산을 해달라고 해도 안해줘요.

ALT

한국어가있는 한국 앱의 스크린 샷

2차 시도

• 역시 처음에는 훈수만 줘서 직접 계산해달라고 요청했습니다. 여차저차해서 계산을 해줬는데 데이터가 이상합니다

• 특정 기수에 데이터가 잘 못 들어가서 동일한 전화번호에 여러 유저들의 이름이 물린 것을 예외처리를 못 해서 발생한 이슈로 보입니다.

• 데이터를 확인하고자 유니크 유저 목록을 csv 파일로 만들어 달라고 했는데 csv 파일을 만들 수 있는 코드만 줬습니다. csv 파일을 직접 다운로드 할 수 있게 해달라고 했는데 대화 세션 오류가 났습니다.

ALT

한국어 텍스트가있는 앱의 스크린 샷

claude 3.7 sonnet

🌟 1차 시도

• 데이터가 복잡해서 실행 시간 초과만 3번 발생하고 결국 결과물을 못 만들어냈습니다

ALT

컴퓨터 화면에 한국어 텍스트 스크린 샷

2차 시도

• 여전히 실행 초과 이슈 발생했습니다

• 결국 해주긴 했고, 클로드 강점- 그래프 시각화까지 기깔나게 해줬습니다 (해달라고 한 적 없었음)

• 그런데 결과 경향성이 비슷하게 나오긴 했는데 오류가 있습니다. 14 -> 15기로 전환하는 데이터는 오류가 없어서 내가 엑셀로 계산한 값이 분명 맞는데, 클로드 결과가 좀 낮게 나왔습니다. 다른 기수들도 약간씩 데이터 오차가 있어보입니다.

• 왜 오류가 나는지 더 파보고 싶었지만 시간이 없어서 패스했습니다

manus.ai 📊

• 일단 시간이 너무 오래 걸렸습니다. 30분 넘게 걸린 것 같아요.

• 시키지도 않았는데 히트맵 그래프도 그려주고 시각화 잘해줬습니다

• 그런데 chatgpt o3처럼 중복 데이터 처리를 못해서 결과적으로 데이터에 오류가 났습니다.

2차 시도를 해볼까 했으나 시간이 너무 오래 걸리다보니 그냥 여기서 더 안하기로 했습니다

금방 될 줄 알았는데 하루종일 이걸 잡고 있다보니 슬슬 화딱지가 납니다.... 😤

데이터 분석하는데 Cursor.ai 까지 올 줄은 몰랐다⚡

• 차라리 코드를 짜서 정리하는게 중간중간 어떤 오류가 있는지 바로 확인할 수도 있고 정확할 것이라고 생각이 들었습니다

• cursor에 처음 프롬프트를 그대로 넣었습니다.

• 코드를 짜줘서 이걸 py 파일로 만들고 돌렸습니다. 코드로 돌리다보니 확실히 계산 속도는 압도적으로 빠릅니다.

• 그리고 정확한 결과가 나왔어요 😭 드디어... 드디어...

• 데이터가 조금 이상해보이는 것은 바로바로 추가 질문을 하고, 코드를 추가해서 결과 값을 확인할 수 있었습니다.

안 시켜도 알아서 시각화를 해주거나 이런 기특한 액션은 못하지만 - 시키는 것을 정확히 수행하고 무엇보다 속도가 가장 빨라서 속 시원했습니다.

대신 코드를 돌릴 때 필요한 패키지를 설치해야하는 등 조금 번거로운 점은 있긴 했어요. 🔧

데이터 정리... 언젠가 한번 데이터베이스 다 갈아엎어야 하는데... 하루살이처럼 일단 오늘의 문제는 해결! 다음부터 데이터 분석할 때는 무조건 Cursor 쓰려고요.