"AI 보도자료 생성기"를 만들었는데, 그 안에 AI가 없었다 — Claude Code로 원인 찾고 진짜 GPT API 붙인 이야기
빅토리아
2026.08.11

## 소개회사에서 행사가 있을 때마다 보도자료 작성시 패턴이 거의 똑같아요. 행사 개요를 정리해서 ChatGPT에 붙여넣고, 초안을 받고, 전사 작성 지침에 맞는지 검수하고, 한글 서식에 맞춰 정리하는 걸 행사마다 반복하고 있었거든요.
이걸 웹페이지 하나로 자동화하면 훨씬 편해질 것 같아서, 코덱스(Codex)로 "행사 개요만 넣으면 초안이 나오는" 웹앱(Next.js)을 만들어봤어요. 그런데 막상 써보니 문장이 뻣뻣하고 기계적이었어요. 이상한 건 똑같은 조건으로 ChatGPT에 직접 물어봤을 땐 결과가 훨씬 좋았다는 점이었어요. 왜 이렇게 차이가 나는지 알아보고 싶어서 Claude Code에게 프로젝트 폴더를 통째로 파악해달라고 맡겼어요.
## 진행 방법
**사용한 도구**
- Claude Code(에이전트 하네스) — 원인 분석, 코드 리팩터링, API 연동, 실전 디버깅, 브라우저 자동화 테스트 전 과정
- OpenAI API(gpt-5) — 실제 초안 생성 모델
- ChatGPT(웹) — 이전에 같은 조건으로 받아둔 "정답 예시" 역할
**어떻게 활용했는지**
1. Claude Code에게 프로젝트 폴더 전체를 파악해달라고 요청했어요. 코드를 뒤진 결과 충격적인 사실이 나왔어요 — **"AI 보도자료 생성기"라고 부르던 앱에 실제로 LLM을 호출하는 코드가 단 한 줄도 없었어요.** `app/`, `lib/`, `db/`, `worker/` 어디에도 OpenAI·Anthropic API 호출이 없었고, API 키 파일도, API 라우트도 없었어요.
실제로 코덱스가 만든 건 이런 정규식 조합기였어요.
```ts
// 본문 생성 로직 (일부) — 언어모델이 아니라 패턴 매칭
const transformations = [
[/\s+참여$/, (base) => `${subject(base)} 참여${past ? "했다" : "한다"}.`],
[/\s+운영$/, (base) => `${object(base)} 운영${past ? "했다" : "한다"}.`],
[/\s+개최$/, (base) => `${object(base)} 개최${past ? "했다" : "한다"}.`],
// ...
];
```
업로드 자료 분석도 마찬가지로 `"행사목적:"` 처럼 라벨이 붙은 줄만 정규식으로 긁어오는 방식이라, 서술형 기획서는 아예 못 읽었어요. 제가 ChatGPT에 줬던 정교한 시스템 프롬프트(역피라미드, [확인필요] 처리, 배포시점별 시제 규칙 등)를 "LLM이 매번 판단하게" 만든 게 아니라, **그 판단을 정규식·if문으로 흉내 내려 한 것**이었어요.
2. 예전에 ChatGPT와 나눈 대화(같은 지침, 같은 행사 정보)를 다시 꺼내서 "정답 기준"으로 삼고, 실제 OpenAI API를 붙이는 작업을 Claude Code와 함께 진행했어요. 이때 설계 원칙을 두 가지로 나눴어요.
- **문장력이 필요한 부분만 AI에게 맡긴다** — 제목·부제·리드문·본문·코멘트 초안
- **정확도가 생명인 부분은 끝까지 코드로 처리한다** — 기관장 표기("기관명(대표 OOO)" 등), 문의처·붙임 같은 정형 문구는 기존 규칙 기반 함수로 100% 결정론적으로 처리. 그리고 제가 직접 입력한 인용문은 AI 응답과 무관하게 서버에서 원본 그대로 덮어쓰게 만들어서, 관계자 발언이 AI 손을 타서 바뀌는 일이 없게 했어요.
3. OpenAI 플랫폼(platform.openai.com)에서 API 키를 새로 발급받았어요. ChatGPT Plus 구독과는 완전히 별개의 사용량 과금 체계라는 걸 이번에 처음 제대로 이해했어요. 결제 수단 등록 → 월 사용량 한도 설정(예상 밖 과금 방지) → 키 발급 순서로 진행했고, 로컬 개발 환경에는 `.dev.vars`라는 gitignore된 파일에 키를 넣었어요.
4. 실제로 붙여서 테스트하는 과정에서 예상 못 한 문제가 계속 나왔어요(아래 시행착오 참고). 문제를 하나씩 해결하고 나서, Claude Code의 브라우저 자동화 기능으로 실제 화면을 열어 행사 개요를 넣고 "초안 만들기"를 눌러 끝까지 돌려봤어요.
## 결과와 배운 점
**결과**
- 실제로 OpenAI API를 호출해 제목·부제·리드문·본문(3~5개 섹션)·관계자 코멘트 초안을 생성하도록 고쳤어요
- 브라우저에서 행사 개요 붙여넣기 → 자동 파싱 → AI 초안 생성 → 문서 미리보기까지 전 과정을 직접 확인했고, 결과 품질이 예전 ChatGPT 답변과 비슷한 수준까지 올라왔어요
- 기관장 표기·문의처 등 정확도가 중요한 부분은 여전히 코드가 담당해서, AI가 고유명사를 잘못 만들어낼 위험을 원천 차단했어요
**배운 점 / 꿀팁**
- "AI 앱을 만들었다"는 말과 "실제로 LLM을 호출한다"는 말은 다르다는 걸 이번에 제대로 체감했어요. 특히 바이브 코딩(코딩 에이전트에게 "AI로 자동 생성해줘"라고 시키는 것)으로 나온 결과물은, 코드를 직접 열어서 API 호출이 있는지 확인하기 전까진 알 수 없더라고요.
- ChatGPT 웹 채팅에서 잘 되던 프롬프트를 API로 그대로 옮긴다고 똑같이 되는 게 아니었어요. `temperature`, `reasoning_effort`, 토큰 한도처럼 API 레벨에서만 신경 쓰면 되는 파라미터들이 따로 있었어요.
- AI에게 전부 맡기지 말고, 정확도가 필요한 부분(고유명사·형식 문구)은 처음부터 코드로 분리하는 게 훨씬 안정적이었어요.
**시행착오**
1. **API 키 오타** — `.dev.vars`에 키를 붙여넣을 때 앞에 `s`가 하나 더 붙어서(`ssk-proj...`) 401 에러가 났어요. → OpenAI가 돌려준 마스킹된 에러 메시지 덕분에 바로 찾아서 고쳤어요.
2. **reasoning 모델은 `temperature`를 못 받는다** — gpt-5 같은 추론형 모델은 커스텀 `temperature` 값 자체를 지원하지 않아서 "Only the default (1) value is supported" 에러가 났어요. → 파라미터를 아예 뺐어요.
3. **토큰 예산을 작게 잡으면 응답이 통째로 비어버린다** — 추론형 모델은 "보이지 않는 추론 토큰"을 먼저 소모하고 나서 실제 답변을 씁니다. 토큰 한도를 3000으로 잡았더니 추론에만 다 쓰고 `finish_reason: length`로 끝나서 실제 본문이 0자였어요. → 한도를 6000으로 올리고 `reasoning_effort`를 조절해서 해결했어요.
4. **지시문을 문자 그대로 반복 실행하는 문제** — "개막당일엔 '막이 올랐다' 같은 표현을 쓰라"고 했더니, AI가 이 표현을 여러 문장 끝에 기계적으로 반복해서 붙였어요("~밝혔다고 막이 올랐다" 같은 비문). → "같은 표현을 여러 문장에 반복하지 말라"를 프롬프트에 명시적으로 추가해서 해결했어요.
5. **화면 구조와 프롬프트 구조가 안 맞아서 생긴 중복** — 관계자 코멘트는 화면에서 별도로 조립되는데, AI가 본문 안에도 "[관계자 코멘트]" 문단을 또 만들어서 중복이 났어요. → 시스템 프롬프트와 출력 스키마 양쪽에 "본문엔 코멘트 문단을 넣지 마라"를 명시하고서야 해결됐어요.
**도움이 필요한 부분**
- `reasoning_effort`를 low/medium/high로 바꿔가며 품질·속도·비용을 비교해본 게 아직 medium 한 단계뿐이라, 실전에서 어느 수준이 적당한지 감이 부족해요. 비슷하게 API를 붙여보신 분들은 어떤 기준으로 정하셨는지 궁금해요.
- 지금은 로컬 개발 환경까지만 확인했고, 실제 배포 환경(호스팅 플랫폼)에 API 키를 안전하게 등록하는 절차는 아직 안 해봤어요. 이 부분도 경험 공유해주시면 감사하겠습니다.
**앞으로의 계획**
- 다음 실제 행사 보도자료를 이 앱으로 써보고, 검수(review) 단계도 지금의 규칙 기반 체크리스트에서 AI 기반으로 확장해볼 계획이에요.
- `reasoning_effort`별 결과물을 실제로 비교해서 비용 대비 품질이 가장 좋은 지점을 찾아보고 싶어요.
## 도움 받은 글 (옵션)
- 예전에 ChatGPT와 나눴던 보도자료 작성 프롬프트/답변 — 이번 API 연동 결과물의 품질 기준(정답 예시) 역할을 함
- OpenAI API 에러 메시지 자체 — `temperature`, `reasoning_effort`, `finish_reason` 관련 문제를 이 에러 메시지들을 근거로 하나씩 해결함


‘AI 보도자료 생성기’의 문체를 손보는 데서 시작해 실제 LLM 호출이 없다는 원인까지 내려간 점이 좋았습니다. 정규식 조합기와 라벨 기반 파싱을 그대로 둔 채 프롬프트만 고치지 않고, 문장력이 필요한 제목·리드·본문은 OpenAI API로, 기관장 표기·문의처와 사용자가 쓴 인용문은 코드와 원본 덮어쓰기로 분리했어요.
401 오타, 지원되지 않는 `temperature`, 3,000 토큰에서 `finish_reason: length`로 본문이 0자가 된 문제, 코멘트 문단 중복을 각각 실제 오류와 화면 흐름으로 좁힌 기록도 탄탄합니다. 현재 비교 근거는 `reasoning_effort=medium` 한 번뿐이고 로컬 브라우저 실행까지 확인한 상태라는 한계가 분명해, 두 도움 요청도 작게 답할 수 있습니다.
실전 기준은 `reasoning_effort`를 가장 높게 두는지가 아니라, 같은 평가셋에서 품질 하한을 넘기는 가장 낮은 단계인지로 잡는 편이 좋습니다. 실제 행사 개요 3~5개를 고정하고 low·medium·high를 같은 출력 스키마와 토큰 한도로 비교해, 확인 필요 누락·고유명사/인용문 보존·사람의 수정 횟수·응답 시간·호출 비용을 한 표에 남겨보세요. 먼저 치명 오류 0건을 통과시킨 뒤 수정 횟수와 비용을 비교하면, 문장이 조금 유려하다는 이유로 느리고 비싼 설정을 고르는 일을 줄일 수 있습니다.
배포 쪽은 호스팅 플랫폼과 API 호출이 실제로 도는 서버 런타임부터 확인한 뒤 진행하는 게 안전합니다. 키는 플랫폼의 암호화된 secret 또는 server-only 환경변수에 등록하고, Next.js의 클라이언트 공개 접두사인 `NEXT_PUBLIC_`에는 두지 마세요. 배포 후에는 서버 route 호출 성공, 브라우저 Network와 내려받은 JS에서 키 문자열 0건, 로그의 키 마스킹, 교체한 이전 키의 호출 실패까지 확인하면 등록·비노출·회전 경계를 한 번에 점검할 수 있습니다.
이름만 AI인 앱을 코드에서 다시 의심하고, 생성과 정확성의 책임을 갈라 실제 브라우저 끝까지 확인한 과정이 인상 깊었습니다. 뻣뻣한 문장을 프롬프트 탓으로만 돌리지 않은 진단이 이 보도자료 도구를 설명 가능한 시스템으로 바꿔 놓았어요.