[맘스맘 개발기] 260202 API 모델 4o-mini로 올려서 대답의 질 개선하기

■ 소개

목표: 419 (4업으로 1달러 벌기 시작해서 9달러까지 벌어보기)

프롬프트 개선을 했는데, 뭔가 아직도 딴소리를 하길래

혹시 문제가 프롬프트가 아닌가? 라는 의심을 했습니다.

그래서 gpt api model이 뭔지 확인해보고 그 부분을 개선해봤습니다.

■ 진행 및 결과

1.커서로 plan하기

오늘은 우선 질문으로 시작했습니다.

확인 해보니,

제가 처음에 3.5를 쓰라고 했나봅니다.

이어서 제 고민을 커서에게 plan으로 털어놓습니다.

비용차이도 물어봅니다

아니 그런데!!!!!!!!!!!!!!!!!!!

당연히 3.5가 쌀줄 알았는데, 심지어 4o-mini가 더 싸다고합니다.

안바꿀 이유가 없습니다.

당장 변경합니다.

커서에게 계획을 내놓으라고 하니,

똑똑하게도 remote config를 활용하자는 제안을 해줍니다.

gpt-4o-mini 전환 계획

배경/현상





현재 Cloud Functions는 openai_model(Firebase Remote Config)을 읽어 허용 목록이면 그 모델을 사용하고, 아니면 기본값 gpt-3.5-turbo를 사용합니다.



gpt-4o-mini는 이미 허용 목록에 포함되어 있어, Remote Config 값만 설정하면 즉시 전환 가능합니다.

현재 코드에서 모델이 결정되는 방식(근거)





기본값/허용 목록: [c:\flutter\msm\momsmom\functions\src\index.ts]의 DEFAULT_OPENAI_MODEL, OPENAI_MODEL_ALLOWLIST



Remote Config 키: getParamValue(template, 'openai_model')



선택 로직: pickModel(remote.model)



실제 호출: client.chat.completions.create({ model: modelUsed, ... })

실행(운영 설정만 변경)





**Firebase Remote Config에 `openai_model` 파라미터를 추가**





값: gpt-4o-mini



주의: 값은 정확히 allowlist 문자열과 동일해야 함 (gpt-4o-mini).



**배포/반영 확인(로그 기반)**





앱에서 호출 1~2회 수행 후, 함수 응답에 포함되는 modelUsed가 gpt-4o-mini인지 확인



이미 응답 JSON에 modelUsed를 내려주고 있어(서버 코드) 클라이언트/테스트에서 쉽게 확인 가능



**롤백 플랜(즉시 복구)**





Remote Config openai_model을 gpt-3.5-turbo로 되돌리거나, 파라미터를 비워/삭제하여 기본값으로 복귀

비용/성능 기대치(요약)





OpenAI 공식 가격(표준) 기준:





gpt-3.5-turbo: 입력 $0.50 / 출력 $1.50 (1M tokens)



gpt-4o-mini: 입력 $0.15 / 출력 $0.60 (1M tokens)



따라서 동일 토큰 사용량이면 입력 약 70% 절감, 출력 약 60% 절감.

리스크와 대응





응답 톤 변화: 4o-mini가 더 지시를 잘 따르지만, 기존 프롬프트가 강제하는 톤/형식은 유지됨



토큰 사용량 변화: 모델이 더 “잘 설명”해서 출력이 길어지면 비용 절감폭이 줄 수 있음 → 필요 시 추후 temperature/출력 길이 규칙으로 보정

다음 단계(전환 후 품질이 아직 부족하면)





system_prompt_v1에 ‘사실 기반 반영/추정 금지’ 규칙을 추가하거나,



전자기기/스크린타임 같은 반복 주제에 대한 도메인 가이드를 보강하는 2차 개선으로 진행

커서가 열심히 작업을 해줬고,