새로 나온 AI모델로 갈아탈지 실제 유저 반응으로 정해봤습니다!

소개

안녕하세요, AI 서비스별 최적의 AI 세팅을 찾아드리는 ABTO 강동혁입니다.

GPT-6.1 Sol, Opus 5.5가 새로 나왔다던데 다들 넘어갈지 말지 결정하셨나요?

코딩, 수학 같은 모델사 발표 점수는 더 좋다던데, 그 차이가 서비스에서도 의미 있는 변화일까요? 바이브코딩으로 서비스를 만들다 보면 처음 붙인 모델을 그대로 쓰게 되고, 더 싼 모델로 바꾸고 싶어도 유저가 빠질까 봐 못 바꾸게 됩니다.

그래서 모델 교체를 감이 아니라 실제 유저 반응으로 결정하는 과정을 Claude Code·Codex 스킬 하나로 세팅해 봤고, 그 과정을 정리했습니다. 도구는 저희가 만든 ABTO(LLM A/B 테스트 게이트웨이)를 썼습니다.

ALT

자동 GTP 6 1 솔 작업 5 5

진행 방법

ALT

한국어가 포함된 autoo 앱 스크린샷

1. Claude Code(또는 Codex)에 ABTO 스킬 설치

npx --yes skills@latest add https://github.com/greedy-co/abto-sdk/tree/main/abto --skill abto --global --agent claude-code --copy --yes

Codex는 --agent codex로 바꾸면 됩니다. 설치 후 에이전트에게 연동을 요청하면 저장소를 읽고 AI 호출을 연결해 줍니다. 쓰던 OpenAI SDK 코드는 그대로 두고 주소와 헤더만 바뀝니다.

2. 결제·가입 버튼에 기록 한 줄 넣기

모델을 비교하려면 "그 모델의 답을 본 유저가 결제했는지"를 알아야 합니다. 결제 버튼에 abto.capture('checkout_completed') 한 줄을 넣어 두면, 결제한 유저가 어떤 모델의 답을 봤는지 ABTO가 자동으로 이어서 기록합니다. 그래서 대시보드에서 바로 모델별 결제율이 나옵니다.

이 한 줄을 어디에 넣을지도 직접 찾을 필요 없이 에이전트에게 맡기면 됩니다.

/abto AI 기능 분석 이벤트 달아줘

ALT

한국어로 자동이라는 텍스트가 있는 페이지의 스크린샷

3. 새 모델은 유저 10%에게만 먼저

대시보드에서 GPT-6.1 Sol, Opus 5.5 같은 새 모델을 옵션으로 추가하고 10%만 보냅니다. 모델별 결제율·재방문과 호출 비용을 나란히 보고, 결과가 좋으면 비율을 늘리고 문제가 보이면 몇 초 만에 되돌리면 됩니다.

여기까지 도입하는 데 5분도 안 걸립니다ㅎㅎ

결과와 배운 점

지금은 20팀 넘게 쓰고 있는데, 평균 내보니 AI 비용은 34% 줄고 결제나 재방문은 15% 정도 올랐습니다.

ALT

한국어로 된 autoo 앱 스크린샷

배운 점

• 비싼 모델 + 긴 답변이 항상 정답은 아니었습니다. 모델사가 발표한 점수 순위와 우리 유저가 매긴 순위는 꽤 달랐습니다.

• "어떤 모델이 좋은가"보다 "어느 기능에 어떤 모델이 맞는가"가 더 중요한 질문이었습니다.

• 새 모델은 무조건 10%부터. 결과가 같으면 저렴한 쪽으로 옮기고, 기존 모델이 확실히 낫다면 그게 지금 비용을 유지할 근거가 됩니다.

앞으로

모델이 이렇게 빨리 바뀌는 시기에는 "새 모델 나오면 10%에 붙여 보고 유저 반응으로 정한다"가 기본 루틴이 되면 좋겠습니다.

어떤 모델부터 비교할지 감이 안 오시면 질문 몇 개 답하고 추천부터 받아보셔도 됩니다.

여러분은 모델을 바꿀 때 무엇을 기준으로 보시는지 궁금합니다. ABTO 도입이 아니더라도 AI 비용 관련 커피챗도 언제든 환영합니다! 다들 화이팅하십쇼!

도움 받은 글

• 모델 추천 받기: https://getabto.com/onlyfor/gpters

• Agent Skill 설치 가이드: https://docs.abto.app/agent-skill/

• 이벤트 설계 가이드: https://docs.abto.app/events/