본문으로 건너뛰기

AI 3역 체제로 6일간 3D ARPG 만들기: 그래픽·음악 시행착오

연준서

2026.10.14

AI 3역 체제로 6일간 3D ARPG 만들기: 그래픽·음악 시행착오 본문 이미지

소개

한 줄 요약
혼자 만드는 Godot 3D ARPG를 6일 동안 AI 3역 체제(기획·검수는 Claude Code, 개발은 Codex)로 돌렸고, 마지막에는 Aside로 1막 음악까지 만들었어요. 이 글의 핵심은 "AI가 됐다고 할 때, 진짜 됐는지 어떻게 확인하나"입니다.

6컷으로 먼저 보는 이야기

자는 동안에도 개발은 계속된다

테스트는 전부 통과했는데… 칼을 왜 그렇게 쥐어?

판정이 진짜 일하는지, 일부러 깨뜨려 본다

디테일이 많을수록 잘 깨진다

답은 컨셉아트에 있었다

내가 모르는 문제를 AI가 먼저 찾았다

이런 분들께 도움돼요

  • AI에게 개발을 맡기고 싶은데 "구현했습니다"를 그대로 믿기 어려운 분

  • AI로 3D 에셋을 만들다가 폴리곤·리깅에서 막힌 분

  • 게임 음악처럼 감각이 필요한 결과물을 AI로 만들어 보고 싶은 분

문제 상황

  • 저는 주로 밤·새벽에만 확인할 수 있어서, Windows 작업 스케줄러에 등록해 밤에도 AI 개발이 이어지게 했어요.

  • 그런데 아침에 "테스트 전부 통과"라는 보고를 받고 게임을 켜면, 캐릭터가 바닥에 누워 있거나 대검이 26m 크기로 튀어나와 있었어요.

  • 테스트가 통과한 이유가 "그 판정이 항상 참이라서"인 경우도 있었습니다.

  • 그래픽과 음악은 원래 자동으로 검증하기 어려운 영역이었고요.

작업 스케줄러 등록을 지시하면서 쓴 문장입니다.

플레이 확인하지 말고 계속 기능 구현을 이어서 진행해줘. 자고 나서 아침에 내가 확인할게.

진행 방법

사용한 도구

  • Claude Code: 기획자·검수자 (스펙 작성, 검수, 스크린샷 판독)

  • Codex CLI: 개발자 (브랜치 구현, 테스트, 커밋)

  • Fable 5.1: 레벨 디자이너 (기능 5개마다 전체 재점검)

  • Godot 4.7: 헤드리스 자동 판정, 스크린샷 촬영

  • ChatGPT · rembg · Meshy · Blender · Mixamo: 3D 에셋 파이프라인

  • Aside + Strudel: 게임 음악 작곡

1. 역할을 나누고, 컨텍스트 40%에서 교체하기

한 에이전트에게 다 시키지 않고 역할을 나눴어요.

  • 기획자(Claude Code): 코딩은 하지 않고 스펙 문서만 씁니다. 스펙에는 브랜치명, 검증 방식, 판정 ID가 들어가요.

  • 개발자(Codex): 스펙 한 장만 보고 구현·테스트·커밋까지 합니다. 끝나면 알림이 와요.

  • 검수자(Claude): 변경 내용과 테스트 코드까지 읽고 병합합니다.

  • 레벨 디자이너(Fable 5.1): 기능 5개가 쌓일 때마다 로드맵·밸런스·시스템 전체를 다시 점검합니다.

기획자 세션이 길어지면 실수가 늘어서, 컨텍스트가 약 40%를 넘으면 인계 문서를 쓰고 새 세션으로 교체했어요. 6일 동안 인계 문서가 6개 나왔습니다. 밤에는 스펙 결정이 막혀도 기획자가 "추천값으로 확정"하고 넘어가게 했고, 기능은 3개씩 묶어서 아침에 한 번에 플레이해 확인했어요.

2. 판정을 믿게 만든 장치

  • 완료 조건에 "스크립트 오류 0" 넣기: 오류가 테스트를 중간에 끊으면 뒤쪽 검사가 조용히 빠진 채 "통과"로 보였어요. 그래서 결과에 SCRIPT_ERRORS | 0을 반드시 출력하게 했습니다.

  • 반례로 판정 깨뜨려 보기: 제품 코드를 일부러 망가뜨린 버전을 만들어서, 판정이 FAIL을 내는지 확인했어요. 이 방법으로 항상 참이던 판정을 여러 개 찾았습니다.

  • 테스트 병렬화: 판정이 수천 건으로 늘자 "테스트 시간을 줄여라"고 했더니, AI가 병렬 실행으로 바꿨어요. 워커 6·8·12개를 비교해(83초·90초·82초) 12개로 정했습니다.

  • 같은 실수 막기: "같은 실수를 반복하지 마"라고 했더니 에이전트가 스스로 lesson.md를 만들어 교훈을 쌓기 시작했어요.

3. 3D 에셋: 삼각형 예산과 깨지는 디테일

에셋 파이프라인은 이렇게 만들었어요.
ChatGPT 컨셉(정면·측면·후면) → rembg 배경 제거 → Meshy 3D 변환 → Blender 베이크 → Mixamo 리깅 → Godot

삼각형 줄이기
Path of Exile은 메인 캐릭터 약 1,500개, 몹 4k 이하의 삼각형을 쓴다는 걸 알아내고, 3D 아티스트 에이전트에게 최대한 줄이라고 지시했어요. 고해상도 디테일을 텍스처로 굽는(bake) 방식으로 4k~7.5k(스켈레톤 병사)까지는 줄였지만, 그 아래는 어려웠어요.

PoE는 수작업으로 했다고 해서 Opus 5.5에게 방법을 물었더니 세 가지를 제안했어요.

  • 블렌더 수작업: 제 실력으로는 어려웠어요.

  • 리메싱: 해결되지 않았어요.

  • 컨셉 이미지 다시 만들기: Meshy 크레딧이 또 들고, 해결된다는 보장도 없었어요.

Meshy 해상도 옵션
처음 여전사를 만들 때 Geometry resolution을 기본값(표준)으로 뒀더니, ChatGPT 컨셉과 너무 다르게(못생기게) 나왔어요. 2K로 올려서 다시 만든 뒤 4k까지 베이크했고, 그래서 여전사만 세 번 뽑았습니다. 이후 Meshy 설정 화면을 캡처해 보여주며 "이 옵션대로 파이프라인을 고쳐줘"라고 해서 파이프라인에 반영했어요.

몬스터는 인간형으로
처음엔 네발 짐승 몬스터를 만들려 했는데, Mixamo 자동 리깅은 두 발로 서는 체형만 지원한다는 걸 알고 늑대인간·멧돼지인간·사슴인간·오크 같은 인간형으로 바꿨어요.

결론: 컨셉아트를 잘 만들어야 한다
스켈레톤 병사는 컨셉 이미지 2번, Meshy 변환 2번을 시도했는데도 깨졌어요. 디테일이 많을수록 모델이 깨지기 쉬워서, 결국 컨셉 단계에서 막는 게 제일 싸다는 결론이었어요. Claude와 정리한 컨셉아트 규칙입니다.

  • 정면·측면·후면은 따로따로 생성 (한 장에 세 방향을 넣으면 Meshy가 한 덩어리로 읽어요)

  • 흰 배경, A포즈, 팔과 몸통·허벅지 사이에 빈 공간

  • 발은 바닥에 붙이고, 무릎은 사람처럼 앞으로 굽히기

  • 망토·늘어진 천·사슬·끈 금지, 벨트는 1개까지, 손에 무기 들지 않기

  • 꼬리는 짧게, 뿔은 머리 위로, 날개는 접거나 빼기

  • 생성 후에는 "세 방향이 같은 캐릭터인지, 망토나 끈이 슬쩍 끼지 않았는지"부터 확인

4. 감각 영역은 눈과 숫자로 확인하기

그래픽은 결국 사람이 봐야 했어요.
칼을 쥐는 방향은 세 번이나 되돌아왔어요. 그래서 검증 방식을 "자동 판정 + 전후 스크린샷 + 사용자 확인"으로 고정하고, 스크린샷을 직접 열어 보는 단계를 스펙에 넣었습니다.

음악은 숫자로 확인했어요.
지피터스 에이전트하네스 스터디의 스터디장님이 Aside로 Strudel(코드로 음악을 만드는 사이트)을 쓰시는 걸 보고 따라 해봤어요. 1막용으로 마을·필드·보스 3곡을 만들었습니다. AI는 소리를 들을 수 없어서, 만든 음원을 분석해 음량, 저음·고음 비율, 루프 이음새를 숫자로 확인했어요. "더 어둡게"라고 하면 저음 비율이 실제로 올라갔는지 보는 식이에요.

사용한 프롬프트

음악을 만들면서 실제로 쓴 요청입니다.

패스오브엑자일과 비슷하지만 다른 독창적인 느낌의 게임 음악 만들기 (1막)
lioneye_watch가 셋중에 그나마 괜찮긴 한데 오카리나 넣으면 어떨까?
30초쯤에 하울링이 있어서 별로야 기존 night버전을 약간 더 다크판타지에 어울리게 살짝 어둡게 만들어봐
고도 게임용으로 임포트용으로 변환해주고 그 다음에 2번도 해주면 좋을거 같아

개발자 에이전트에게 보낸 지시의 형태입니다.

너는 simpleARPG(Godot 4.7) 개발자다. 브랜치 <브랜치명>, 스펙 docs/specs/<스펙>.md 를 구현하라.
완료 조건: 전체 판정 RESULT | passed=N failed=M, SCRIPT_ERRORS | 0 을 보고하고 커밋할 것.
이번 턴은 <한 단계>만 한다.

결과와 배운 점

확인된 결과

  • 자동 판정이 718건 → 6,253건으로 늘었어요(세션 보고 기준).

  • 전투 HUD, 패시브 트리, 스킬 보조 젬, 적 등급, 고유 아이템, 여러 맵이 기능 단위로 추가됐어요.

  • 3D 캐릭터는 4k~7.5k 삼각형까지 줄였어요.

  • 1막 음악 3곡을 게임에 바로 넣을 수 있는 루프 파일(OGG)로 만들었어요.

현재 인게임 화면이에요. 그래픽은 아직 작업 중이고, 적 등급·수식어(이름표), HP 구체, 스킬 바가 들어가 있어요.

시행착오

  1. 테스트 통과 ≠ 화면 정상: 누운 캐릭터, 26m 대검, 거꾸로 쥔 칼. 전후 스크린샷을 넣고 나서야 잡혔어요.

  2. 항상 참인 판정: 같은 값끼리 비교하는 판정이 늘 통과하고 있었어요. 반례로 깨뜨려 보고 찾았습니다.

  3. Meshy 해상도 기본값: 컨셉과 달라져 여전사를 세 번 뽑았어요.

  4. 디테일 높은 몬스터: 스켈레톤 병사는 컨셉 2번, Meshy 2번을 시도해도 깨졌어요.

  5. 음악 하울링: 고음 구간과 긴 메아리 효과가 겹쳐 울림이 생겼고, 그 버전은 버렸어요.

  6. 음악이 무음으로 나온 사고: 제가 몰랐던 문제를 AI가 먼저 알아챘어요. 음량이 절반으로 떨어진 걸 보고 원인을 찾았더니, Strudel이 인식하지 못하는 음계 이름 때문에 악기 대부분이 소리가 안 나고 있었어요. AI가 음 이름을 직접 쓰는 방식으로 알아서 고쳤습니다.

꿀팁

  1. 기획·개발·검수를 다른 에이전트에게 나눠 주세요. 같은 에이전트가 만들고 검사하면 "됐다"가 쉽게 나옵니다.

  2. 완료 조건에 "오류 0"을 넣고, 판정은 한 번 일부러 깨뜨려 보세요.

  3. 에이전트 컨텍스트가 40%를 넘으면 인계 문서를 쓰고 새 세션으로 바꾸세요.

  4. 밤에는 작업 스케줄러로 돌리고, 아침에 묶어서 한 번에 확인하세요.

  5. AI 3D 에셋은 컨셉아트에서 승부가 납니다. 만든 뒤에 고치는 것보다 처음부터 규칙대로 만드는 게 쌉니다.

  6. 리깅 제약부터 확인하고 몬스터 형태를 정하세요.

  7. 그래픽·음악은 자동 판정만 믿지 말고, 스크린샷과 숫자로 한 번 더 확인하세요.

다른 업무에 적용한다면

결과물이 분명한 일(문서, 리서치, 데이터 정리)이라면 "작업 지시서 → 일부러 틀린 예로 검증 → 결과 확인" 흐름을 그대로 쓸 수 있을 것 같아요. 다만 취향이 들어가는 판단은 사람이 보는 단계를 남겨 두는 게 맞다고 생각해요.

도움이 필요한 부분

  • AI로 만든 고해상도 캐릭터를 1.5k~4k 삼각형까지 줄이는 더 좋은 방법을 아시는 분이 계실까요?

  • 그래픽처럼 취향이 들어가는 결과물은 어떤 기준으로 합격을 정하시나요?

앞으로의 계획

음악 3곡을 게임에 넣고 마을·필드·보스 전환을 붙인 뒤, 2막 음악과 애니메이션 작업을 같은 방식으로 이어갈 계획이에요.

도움 받은 글 (옵션)

  • Strudel (strudel.cc): 코드로 음악을 만드는 브라우저 도구

  • Meshy, Blender, Mixamo: 3D 변환, 베이크, 리깅

  • 컨셉아트 규칙 원본 대화: https://claude.ai/share/5fc38871-dc3b-4fbb-a723-887ac00314ad

  • 사례글 형식은 지피터스 24기 에이전트하네스 스터디 제공 스킬(원출처: 닿님의 write-post, MIT)을 기준으로 했습니다.

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

박무경 프로필 이미지
박무경2026.10.17

검 거꾸로 든 캐릭터가 너무 해맑아서 미소가 지어지네요 화면 밖 제작자는 속터지겠지만...

연두부 프로필 이미지
연두부2026.10.14

많은 작업을 하셨네요. 특히 3D 모델링이 일주일만에 엄청나게 발전하신 것 같습니다! 음악 관련도 모르던 방식이었는데 한번 써봐야겠네요.

그리고 검 거꾸로 드는것처럼 ai는 찾기 어려운데 사람은 찾기 쉬운 것들도 있어서, 결국 검수 과정에서는 인력이 필요하게 되는 것 같습니다.

뽀짝이 프로필 이미지
뽀짝이2026.10.14

연준서님, "테스트는 전부 통과했는데 캐릭터는 바닥에 누워 있고 대검은 26m"라는 대목에서 웃다가 정신이 번쩍 들었어요. AI가 "됐다"고 말할 때 진짜 됐는지 확인하는 문제를 이렇게 구체적으로 풀어주신 글은 드물어요.

특히 제품 코드를 일부러 망가뜨려서 판정이 FAIL을 내는지 확인하는 반례 테스트, 그리고 결과에 SCRIPT_ERRORS | 0을 반드시 출력하게 한 장치가 인상 깊었습니다. 항상 참인 판정을 여러 개 찾아내셨다는 게 이 방법이 실제로 먹혔다는 증거네요. 음악을 "더 어둡게"라고 했을 때 저음 비율이 실제로 올랐는지 숫자로 보는 접근도 소리를 못 듣는 AI에게 딱 맞는 해법 같아요.

스켈레톤 병사를 컨셉 2번, 변환 2번까지 시도하고 "결국 컨셉 단계에서 막는 게 제일 싸다"로 정리하신 시행착오도 바로 가져다 쓸 수 있는 교훈이에요. 6,253건까지 늘어난 판정이 다음 기능에서 또 어떤 거짓말을 잡아낼지 궁금해집니다. 고롱고롱… 이런 글 보면 꼬리가 저절로 올라가요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기