소개
여기에 전문가들이 많이 있으시지만 저는 AI의 초보 입장에서 모델링 작업을 한 경험을 공유하고자 합니다.
작년에 요가 제품 모델링 작업을 하면서 예상보다 많은 시간이 소요되었습니다. 과정이 워크플로우로 정리가 되었다면 작업이 더 수월하지 않았을까 하는생각이 들어서 이번에 워크플로우를 만들게 되었습니다.
당시에는 AI를 레퍼런스 제작에만 활용했지만, 지금은 AI 기술이 더욱 발전하면서 3D 모델링의 다양한 과정에도 적용할 수 있을 것이라 판단했습니다. 이에 따라 보다 효율적인 작업 방식을 고민하게 되었고, 자연스럽게 AI 기반 3D 모델링 워크플로우를 정리하게 되었습니다. 스터디에서 과제를 진행하면서 이를 체계적으로 정리할 기회를 얻게 되었고, 이번 발표를 통해 그 과정을 공유하려 합니다.
이 내용을 Chat gpt의 캔버스로 정말 빠르게 정리할 수 있었습니다.
진행 방법
AI 기반 3D 모델링 작업 워크플로우
🔹 컨셉 아트 & 레퍼런스 생성
• Midjourney / DALL·E / Stable Diffusion → 컨셉 아트 제작
• RunwayML → AI 기반 스타일 변환 및 영상 편집
• DreamFusion / NVIDIA GET3D → AI로 직접 3D 모델 생성
아래 이미지는 미드저니에서 나온 래퍼런스입니다.
🔹 3D 모델링 (블로킹 & 스컬핑)
• Blender → 범용 오픈소스 3D 툴, AI 플러그인 다수 지원
• ZBrush → AI 기반 스컬핑 & 자동 리토폴로지 가능
• Kaedim / Luma AI → AI 기반 자동 3D 모델 생성
🔹 리토폴로지 & UV 매핑
• Quad Remesher (Blender/ZBrush 플러그인) → 자동 리토폴로지
• RizomUV / UVPackmaster → AI 기반 UV 언래핑
🔹 텍스처링 & 머터리얼
• Substance Painter → AI Smart Material 지원
• Adobe Firefly / NVIDIA GauGAN → AI 기반 텍스처 생성
• Materialize / Quixel Mixer → PBR 텍스처 제작
🔹 리깅 & 애니메이션
• Mixamo / AccuRig → AI 자동 리깅
• Cascadeur → AI 기반 자연스러운 애니메이션 자동 생성
• DeepMotion / Move AI → 비디오 기반 AI 모션 캡처
믹사모에서 리깅해서 애니메이션으로 만들어보았습니다.
🔹 렌더링 & 최적화
• Unreal Engine 5 (Nanite, Lumen 지원) → 실시간 렌더링 최적화
• Blender Cycles / V-Ray → 고품질 오프라인 렌더링
• Topaz AI / NVIDIA DLSS → AI 기반 해상도 업스케일링 및 최적화
✅ 결론: Blender + ZBrush + Substance Painter + Mixamo + Unreal Engine 5 조합이 가장 범용적이고 효율적이며, 필요에 따라 AI 툴을 추가하는 방식이 이상적입니다.
그러나,
AI 모델링은 큰 문제를 가지고 있습니다.
🔹 폴리곤 최적화 (Low Poly + LOD 적용 )
폴리곤이 과도하게 많습니다. 그럴 경우에는 고치는 것보다 차라리 수작업으로 다시 만드는게 낫다고 생각될 정도입니다. 그 문제가 잘 해결되어야 합니다.
해결책 → ZBrush Decimation Master / Blender Remesh 기능 활용해서 폴리곤을 줄이고, QuadRemesher로 깔끔하게 정리.
🔹 물리 & 애니메이션 최적화
• AI 기반 리깅 모델 (Mixamo, AccuRig)은 종종 본 개수가 많으므로, 필요 없는 본 삭제
• Unreal Engine의 Chaos Physics 사용하여 최적화된 물리 효과 적용
✅ 결론: LOD, 폴리곤 최적화, 텍스처 압축을 통해 AI 생성 모델을 게임 엔진에서 부드럽게 실행할 수 있음. Unreal Engine 5는 Nanite 덕분에 최적화 부담이 적은 편이고, Unity는 URP로 최적화가 필요함.
✅ 결론
이 과정을 통해 Blender를 활용하여 3D 모델을 제작할 수 있으며, AI 도구와 결합하면 더욱 효율적인 결과물을 얻을 수 있습니다. 이후 단계별 설명에 사진을 추가하여 보다 직관적으로 정리할 수 있습니다.
아래 영상은 AI로 만든 래퍼런스로 AI 모델링을 한 것입니다. 원래는 T자형 모델이 아니지만 미드저니에서 수정을 거듭해서 T자로 만들었습니다.
3D 모델링을 하는데는 정말 몇초밖에 걸리지 않았습니다. 하지만 잘보면 얼굴이 뭉개지고 구멍이 있는 것을 볼 수 있습니다.
그리고 리깅도 간단하게되어 뛰고 구를수 있습니다.
활용
모델링한 3D 작업물은 다양한 2차 창작이 가능합니다.
결과와 배운 점
이번 워크플로우 정리를 통해 AI가 단순한 보조 도구가 아니라, 창작 과정 자체를 혁신할 수 있는 강력한 도구라는 것을 깨달았습니다. 특히, AI를 활용하면 반복 작업을 줄이고 창의적인 부분에 집중할 수 있다는 점이 가장 큰 장점이었습니다.
하지만 AI가 생성한 모델은 폴리곤이 너무 많거나 UV가 엉망인 경우가 많았습니다. 이런 문제를 해결하기 위해 ZBrush와 Blender의 리메시 기능, Substance Painter의 UV 리매핑을 적극 활용해야겠습니다.
이 경험을 바탕으로 더 효율적인 3D 모델링 프로세스를 구축해 나가고자 합니다.