본문으로 건너뛰기

AI에게 코드를 맡기는 것은 쉽지만, AI가 틀렸을 때 그것을 알아채는 구조를 만드는 것은 어렵다.

woodyj

2026.08.12

소개

Claude Code만으로 커플 감사일기 웹앱 pairly를 만들고 실제 결제까지 연결해보았습니다.

서비스는 감사일기를 작성하면 열쇠를 얻고, 그 열쇠로 연인의 일기를 볼 수 있는 구조입니다. 단순히 “꾸준히 써야 한다”는 의지에 기대기보다 연인의 일기가 궁금한 마음이 다시 일기를 쓰게 만드는 구조를 실험해보고 싶었습니다.

동시에 더 궁금했던 것은 AI가 만든 코드를 개발 지식이 없는 사람도 어떻게 믿고 사용할 수 있을까?였습니다. 실제 개발 과정에서 데이터가 잘못 노출되는 문제를 반복해서 겪으면서, 후반에는 기능 개발뿐 아니라 AI가 스스로 결과를 검증하게 만드는 방법을 함께 고민했습니다.

진행 방법

메인 개발 도구로 Claude Code를 사용했고, Supabase(DB·인증), Cloudflare Pages(배포), Polar(결제), Playwright·pgTAP(테스트)을 활용했습니다.

처음에는 Claude Code에 대화로 개발 원칙을 전달했지만, 세션이 바뀌면 지침이 유지되지 않는 문제가 있었습니다. 그래서 CLAUDE.md에 프로젝트 규칙과 검증 기준을 작성했습니다.

대표적으로 아래와 같은 프롬프트/지침을 사용했습니다.

## 수술적 변경
꼭 필요한 곳만 건드린다.
관련 없는 코드나 포맷팅을 임의로 개선하지 않는다.

## 목표 기반 실행
성공 기준을 먼저 정의하고, 검증될 때까지 반복한다.

검증에는 실제로 명령을 실행한 결과를 쓴다.
브라우저에서 화면을 확인하지 못했다면
확인하지 못했다고 CHANGELOG에 적는다.

특히 보안 문제를 반복해서 겪은 뒤에는 코드를 직접 수정하지 않고 문제만 찾아서 보고하는 검토 전담 에이전트도 만들었습니다.

너는 코드를 고치지 않는다.
찾아서 보고만 한다.

사용자는 비전공자다.
문제가 있다면 무엇이 어떻게 잘못되는지 사람 말로 설명한다.

이후 프로젝트 구조와 규칙을 정리한 PROJECT-MAP.md, 역할별 에이전트와 Skill, 변경된 파일에 따라 필요한 테스트를 알려주는 scope-check.sh까지 추가했습니다.

결과와 배운 점

가장 크게 배운 것은 “AI에게 조심하라고 말하는 것”보다 “AI가 실수해도 발견할 수 있는 구조를 만드는 것”이 중요하다는 점입니다.

실제로 데이터 노출 문제를 세 번 겪었고, 결제 환불 함수의 권한이 잘못 설정되어 공개 키로 호출할 수 있는 문제도 발견했습니다. 타입체크·빌드가 모두 성공해도 잡히지 않는 문제였습니다.

제가 가장 효과를 본 방법은 다음과 같습니다.

  • 확인하지 못한 것은 확인했다고 말하지 못하게 하기

  • 코드를 고치는 역할과 검토하는 역할을 분리하기

  • UI는 반드시 실제 브라우저 화면으로 확인하기

  • 운영 DB처럼 위험한 작업에는 사람이 한 번 더 확인해야 하는 장치 만들기

  • 일반적인 개발 지식보다 “우리 프로젝트에서만 참인 규칙”을 AI에게 알려주기

특히 CHANGELOG에 단순히 “무엇을 바꿨는지”가 아니라 “왜 바꿨고 어떤 문제를 해결했는지” 기록하게 한 것이 효과적이었습니다. 다음 Claude Code 세션에서도 이전 결정의 이유를 쉽게 파악할 수 있었습니다.

아직 실제 카드로 결제 → 지급 → 환불까지 전체 과정을 검증하는 작업과 법률 문서 검토, 테스트 체계 보완 등이 남아 있습니다.

앞으로는 실제 결제 검증 후 베타 서비스를 열고, 이번에 만든 PROJECT-MAP + 검토 전담 에이전트 + 자동 검증 방식을 다른 프로젝트에도 적용해볼 계획입니다.

이번 프로젝트를 한 문장으로 정리하면 다음과 같습니다.

AI에게 코드를 맡기는 것은 쉽지만, AI가 틀렸을 때 그것을 알아채는 구조를 만드는 것은 어렵다.

https://pairly.co.kr/

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

Brandon 프로필 이미지
Brandon2026.08.13

크~~ 도메인 좋네요!!ㅎㅎ

감사일기 고고!!!!

박준_JoonLab 프로필 이미지
박준_JoonLab2026.08.19

빌드와 타입체크가 전부 초록불인데 환불 함수가 공개 키로 호출될 수 있었다는 조합은 생각도 못 했습니다. 그 뒤에 코드는 고치지 않고 문제만 보고하는 검토 전담 에이전트를 따로 세우신 것도 인상 깊었습니다.

'확인하지 못했다면 확인하지 못했다고 CHANGELOG에 적는다'는 한 줄이 이 사례의 핵심 같습니다. 확인 안 된 것은 침묵으로 지나가면 통과로 읽히니까요.

남은 작업으로 실제 카드 결제부터 환불까지 검증하시는 부분은 조금 조심하시면 좋을 것 같습니다. 저는 되돌릴 수 없는 기능은 실사용자 데이터로 QA하지 않고 버리는 더미로만 확인하는데요, 예를 들어 폐기용 계정 하나로만 전 과정을 돌리시고 실계정 실행은 사람 승인 뒤에만 넘어가게 걸어두시면 좋겠습니다.

베타 오픈 소식도 기다리고 있겠습니다 ㅎㅎ

woodyj 프로필 이미지
woodyj2026.08.20

준님 매번 좋은 피드백 감사합니다. 말씀 주신 내용 처럼 전과정 한번 돌려보겠습니다.!ㅎㅎ

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기