■ 소개
목표: 419 (4업으로 1달러 벌기 시작해서 9달러까지 벌어보기)
프롬프트 개선을 했는데, 뭔가 아직도 딴소리를 하길래
혹시 문제가 프롬프트가 아닌가? 라는 의심을 했습니다.
.
그래서 gpt api model이 뭔지 확인해보고 그 부분을 개선해봤습니다.
.
■ 진행 및 결과
1.커서로 plan하기
오늘은 우선 질문으로 시작했습니다.
확인 해보니,
제가 처음에 3.5를 쓰라고 했나봅니다.
.
이어서 제 고민을 커서에게 plan으로 털어놓습니다.
.
비용차이도 물어봅니다
.
아니 그런데!!!!!!!!!!!!!!!!!!!
당연히 3.5가 쌀줄 알았는데, 심지어 4o-mini가 더 싸다고합니다.
.
안바꿀 이유가 없습니다.
당장 변경합니다.
.
.
커서에게 계획을 내놓으라고 하니,
똑똑하게도 remote config를 활용하자는 제안을 해줍니다.
gpt-4o-mini 전환 계획
배경/현상
현재 Cloud Functions는 openai_model(Firebase Remote Config)을 읽어 허용 목록이면 그 모델을 사용하고, 아니면 기본값 gpt-3.5-turbo를 사용합니다.
gpt-4o-mini는 이미 허용 목록에 포함되어 있어, Remote Config 값만 설정하면 즉시 전환 가능합니다.
현재 코드에서 모델이 결정되는 방식(근거)
기본값/허용 목록: [c:\flutter\msm\momsmom\functions\src\index.ts]의 DEFAULT_OPENAI_MODEL, OPENAI_MODEL_ALLOWLIST
Remote Config 키: getParamValue(template, 'openai_model')
선택 로직: pickModel(remote.model)
실제 호출: client.chat.completions.create({ model: modelUsed, ... })
실행(운영 설정만 변경)
**Firebase Remote Config에 `openai_model` 파라미터를 추가**
값: gpt-4o-mini
주의: 값은 정확히 allowlist 문자열과 동일해야 함 (gpt-4o-mini).
**배포/반영 확인(로그 기반)**
앱에서 호출 1~2회 수행 후, 함수 응답에 포함되는 modelUsed가 gpt-4o-mini인지 확인
이미 응답 JSON에 modelUsed를 내려주고 있어(서버 코드) 클라이언트/테스트에서 쉽게 확인 가능
**롤백 플랜(즉시 복구)**
Remote Config openai_model을 gpt-3.5-turbo로 되돌리거나, 파라미터를 비워/삭제하여 기본값으로 복귀
비용/성능 기대치(요약)
OpenAI 공식 가격(표준) 기준:
gpt-3.5-turbo: 입력 $0.50 / 출력 $1.50 (1M tokens)
gpt-4o-mini: 입력 $0.15 / 출력 $0.60 (1M tokens)
따라서 동일 토큰 사용량이면 입력 약 70% 절감, 출력 약 60% 절감.
리스크와 대응
응답 톤 변화: 4o-mini가 더 지시를 잘 따르지만, 기존 프롬프트가 강제하는 톤/형식은 유지됨
토큰 사용량 변화: 모델이 더 “잘 설명”해서 출력이 길어지면 비용 절감폭이 줄 수 있음 → 필요 시 추후 temperature/출력 길이 규칙으로 보정
다음 단계(전환 후 품질이 아직 부족하면)
system_prompt_v1에 ‘사실 기반 반영/추정 금지’ 규칙을 추가하거나,
전자기기/스크린타임 같은 반복 주제에 대한 도메인 가이드를 보강하는 2차 개선으로 진행
.
커서가 열심히 작업을 해줬고,
.
이어서 firebase remote config에 넣습니다.
2.firebase remote config에 넣기
매개변수 추가를 눌러서 커서가 알려준 값을 넣어줍니다.
.
.
3.결과물 확인하기
업데이트 전까지는 논리는 없는데 고집만 세게 주장을 했다면,
mini로 바꾼 뒤에는 오! 진짜 말 되는데??
이제 좀 위로다운 위로를 받을 수 있습니다 ㅎㅎ
.
하루하루 성장하는 맘스맘입니다
■ 느낀점 및 향후 계획
진작 모델을 올릴걸 그랬습니다. ㅎㅎ
이제 조금 더 다듬고 나서는
apk파일 공유드릴 수 있을 것 같습니다!
.
참고로 closed test도 잘 진행되고 있습니다.
