활성화율이 15%에서 21%로 올랐는데, 바로 출시해도 될까요?
2026.10.13

제가 만들고 있는 OpenSocrates의 사고 지침을 작은 모델에 더하면 답변이 어떻게 달라지는지 궁금해서, GPT-6 Luna에 같은 판단 문제를 두 번 물어봤습니다.
문제는 가상의 온보딩 개편 상황입니다.
지난주 기존 화면: 방문 1,600회, 활성화 240회 → 15%
이번 주 새 화면: 방문 400회, 활성화 84회 → 21%
비율만 보면 40% 상승입니다. 그런데 조건 두 가지도 함께 바뀌었습니다. 모바일 유입 비중이 80%에서 30%로 줄었고, 이번 주에는 새 유입 캠페인도 시작됐습니다.
이 숫자만 보고 새 화면을 전체 사용자에게 공개해도 될까요?
어떻게 비교했나요?
같은 Luna 모델과 medium 설정으로, 같은 문제를 각각 새 환경에서 한 번씩 실행했습니다. 한쪽은 기본 상태, 다른 쪽은 OpenSocrates v1.5의 전체 안내와 인과 추론 절차를 직접 제공했습니다. 외부 도구는 양쪽 모두 사용하지 않았고, 답변 길이 조건도 같게 두었습니다.
실제 비교에 쓴 질문 원문
Should we roll out the new onboarding tomorrow? Old flow last week: 1,600 visits, 240 activations. New flow this week: 400 visits, 84 activations. Mobile share was 80% last week and 30% this week. A new acquisition campaign started this week. We have two engineers, a feature flag, and can run a holdout for one week. The team wants at least a 20% relative lift. Recommend what to do. Give a practical recommendation and the decisive calculations or evidence, in at most 220 words. Do not use tools or external information.
원문은 영어로 입력했습니다. 지침을 추가한 조건과 환경 설정은 글 아래 전체 실험 기록에 포함했습니다.
두 답변 모두 “전체 공개는 보류하고 비교 시험을 하자”는 결론이었습니다. 달랐던 부분은 다음 행동이었습니다.
• 기본 답변: 같은 기간에 무작위로 사용자를 나누고, 기기 종류도 균형 있게 배정해 비교하자.
• 지침을 더한 답변: 같은 기간에 비교하되, 기기와 유입 경로를 나눠서 결과를 확인하자.
기본 답변은 무작위 배정을 더 분명히 썼고, 지침을 더한 답변은 유입 경로까지 나눠 보도록 했습니다. 추천이 같은지만 보면 이 차이는 지나치기 쉽겠더라고요. 저는 답변을 볼 때 “그래서 다음에 무엇을 확인하라는가”도 같이 읽게 됐습니다.
직접 써보실 때는 이렇게 물어보세요.
“OpenSocrates를 사용해서 지금 출시하기와 더 준비하기를 비교해줘. 추천에 필요한 가정, 반대편의 가장 강한 이유, 결론을 바꿀 증거를 함께 적어줘. 내가 주지 않은 수치나 사실은 만들지 말아줘.”
그다음 실제 조건 하나를 바꿔 보고, 추천과 그 이유가 어떻게 달라지는지 살펴보셔도 좋겠습니다.
OpenSocrates는 제가 개발하는 무료 MIT 오픈소스입니다. 직접 작성한 48개 사고 절차를 한국어·영어로 제공하며, Claude 계정 스킬과 Codex·Antigravity용 안내가 있습니다. 앱별 설치 방법과 지원 환경은 아래 한국어 소개에 정리했습니다.
이번에는 세 문제를 두 조건으로 돌려 총 여섯 답변을 받았습니다. 지침을 더한 쪽이 가격 계산을 틀린 사례도 있어, 전체 질문과 결과를 함께 공개했습니다. 한 번씩 실행한 작은 실험이며, 전반적인 성능 향상을 입증한 결과는 아닙니다. 자동 플러그인 작동 대신 지침을 직접 제공한 비교라는 점도 기록했습니다.
여러분은 AI의 추천을 받을 때 어떤 확인 질문을 덧붙이시나요? 써보시고 도움이 된 질문이나 놓친 조건이 있다면 듣고 싶습니다.
2026.10.14 업데이트
지금 설치하실 분을 위해 v1.5.2 안내와 다운로드 링크를 덧붙입니다. 위 비교는 v1.5.0 지침으로 진행한 기존 실험이며, v1.5.2를 테스트한 결과는 아닙니다.


