AI 기반 3D 모델링 작업 워크플로우

소개

여기에 전문가들이 많이 있으시지만 저는 AI의 초보 입장에서 모델링 작업을 한 경험을 공유하고자 합니다.

작년에 요가 제품 모델링 작업을 하면서 예상보다 많은 시간이 소요되었습니다. 과정이 워크플로우로 정리가 되었다면 작업이 더 수월하지 않았을까 하는생각이 들어서 이번에 워크플로우를 만들게 되었습니다.

당시에는 AI를 레퍼런스 제작에만 활용했지만, 지금은 AI 기술이 더욱 발전하면서 3D 모델링의 다양한 과정에도 적용할 수 있을 것이라 판단했습니다. 이에 따라 보다 효율적인 작업 방식을 고민하게 되었고, 자연스럽게 AI 기반 3D 모델링 워크플로우를 정리하게 되었습니다. 스터디에서 과제를 진행하면서 이를 체계적으로 정리할 기회를 얻게 되었고, 이번 발표를 통해 그 과정을 공유하려 합니다.

이 내용을 Chat gpt의 캔버스로 정말 빠르게 정리할 수 있었습니다.

진행 방법

AI 기반 3D 모델링 작업 워크플로우

🔹 컨셉 아트 & 레퍼런스 생성

Midjourney / DALL·E / Stable Diffusion → 컨셉 아트 제작

RunwayML → AI 기반 스타일 변환 및 영상 편집

DreamFusion / NVIDIA GET3D → AI로 직접 3D 모델 생성

아래 이미지는 미드저니에서 나온 래퍼런스입니다.

매트에서 요가를하는 여성의 3D 모델

🔹 3D 모델링 (블로킹 & 스컬핑)

Blender → 범용 오픈소스 3D 툴, AI 플러그인 다수 지원

ZBrush → AI 기반 스컬핑 & 자동 리토폴로지 가능

Kaedim / Luma AI → AI 기반 자동 3D 모델 생성

요가 매트에 앉아있는 소녀의 3D 인쇄물

🔹 리토폴로지 & UV 매핑

Quad Remesher (Blender/ZBrush 플러그인) → 자동 리토폴로지

RizomUV / UVPackmaster → AI 기반 UV 언래핑

🔹 텍스처링 & 머터리얼

Substance Painter → AI Smart Material 지원

Adobe Firefly / NVIDIA GauGAN → AI 기반 텍스처 생성

Materialize / Quixel Mixer → PBR 텍스처 제작

🔹 리깅 & 애니메이션

Mixamo / AccuRig → AI 자동 리깅

Cascadeur → AI 기반 자연스러운 애니메이션 자동 생성

DeepMotion / Move AI → 비디오 기반 AI 모션 캡처

믹사모에서 리깅해서 애니메이션으로 만들어보았습니다.

🔹 렌더링 & 최적화

Unreal Engine 5 (Nanite, Lumen 지원) → 실시간 렌더링 최적화

Blender Cycles / V-Ray → 고품질 오프라인 렌더링

Topaz AI / NVIDIA DLSS → AI 기반 해상도 업스케일링 및 최적화

결론: Blender + ZBrush + Substance Painter + Mixamo + Unreal Engine 5 조합이 가장 범용적이고 효율적이며, 필요에 따라 AI 툴을 추가하는 방식이 이상적입니다.

그러나,

AI 모델링은 큰 문제를 가지고 있습니다.

🔹 폴리곤 최적화 (Low Poly + LOD 적용 )

폴리곤이 과도하게 많습니다. 그럴 경우에는 고치는 것보다 차라리 수작업으로 다시 만드는게 낫다고 생각될 정도입니다. 그 문제가 잘 해결되어야 합니다.

해결책 → ZBrush Decimation Master / Blender Remesh 기능 활용해서 폴리곤을 줄이고, QuadRemesher로 깔끔하게 정리.

🔹 물리 & 애니메이션 최적화

AI 기반 리깅 모델 (Mixamo, AccuRig)은 종종 본 개수가 많으므로, 필요 없는 본 삭제

Unreal Engine의 Chaos Physics 사용하여 최적화된 물리 효과 적용

결론: LOD, 폴리곤 최적화, 텍스처 압축을 통해 AI 생성 모델을 게임 엔진에서 부드럽게 실행할 수 있음. Unreal Engine 5는 Nanite 덕분에 최적화 부담이 적은 편이고, Unity는 URP로 최적화가 필요함.


✅ 결론

이 과정을 통해 Blender를 활용하여 3D 모델을 제작할 수 있으며, AI 도구와 결합하면 더욱 효율적인 결과물을 얻을 수 있습니다. 이후 단계별 설명에 사진을 추가하여 보다 직관적으로 정리할 수 있습니다.

아래 영상은 AI로 만든 래퍼런스로 AI 모델링을 한 것입니다. 원래는 T자형 모델이 아니지만 미드저니에서 수정을 거듭해서 T자로 만들었습니다.

3D 모델링을 하는데는 정말 몇초밖에 걸리지 않았습니다. 하지만 잘보면 얼굴이 뭉개지고 구멍이 있는 것을 볼 수 있습니다.

그리고 리깅도 간단하게되어 뛰고 구를수 있습니다.

활용

모델링한 3D 작업물은 다양한 2차 창작이 가능합니다.

분홍색 공을 들고있는 여자의 3D 이미지

결과와 배운 점

이번 워크플로우 정리를 통해 AI가 단순한 보조 도구가 아니라, 창작 과정 자체를 혁신할 수 있는 강력한 도구라는 것을 깨달았습니다. 특히, AI를 활용하면 반복 작업을 줄이고 창의적인 부분에 집중할 수 있다는 점이 가장 큰 장점이었습니다.

하지만 AI가 생성한 모델은 폴리곤이 너무 많거나 UV가 엉망인 경우가 많았습니다. 이런 문제를 해결하기 위해 ZBrush와 Blender의 리메시 기능, Substance Painter의 UV 리매핑을 적극 활용해야겠습니다.

이 경험을 바탕으로 더 효율적인 3D 모델링 프로세스를 구축해 나가고자 합니다.

6

👉 이 게시글도 읽어보세요