본문으로 건너뛰기

LLM to NPC using Unity 3D 2탄

Brandon

2023.06.19

LLM to NPC using Unity 3D 2탄 본문 이미지

Unity 3D 엔진으로 NPC 캐릭터를 만들고 GPT3.5를 연결, persona, MBTI 등을 설정하여 일관성있는 대화가 가능한 Virtual World 만들기 2탄입니다.

(참고영상→ (450) Making NPCs with ChatGPT in Unity! - YouTube)

지난주 1탄에서 비개발자인 제가 한달동안 유투브(Sarge)와, 유니티강의, 뤼튼을 활용해서 캐릭터에 GPT연결하기를 소개드렸었고 1주일간 작업한 내용 발표드립니다.

  1. ReadyPlayerMe에 나, 친구(Amy), Kendall Jenner(이상형) 사진을 넣어 아바타 설정

  2. Unity3d에서 smart pack(avatar, OpenAI, Unity Starter Asset을 NPC에 적용하는 package) install

  3. ChatGPT를 Unity3d에 install(Import the OpenAI-Unity Package)

    • C# script에서 ‘prompt’부분의 persona설정(3명의 캐릭터의 이름과(Elsa, Brandon, Kendall) 그에 맞는 성격, history, User와의 관계를 설정)

  4. Import Starter Assets Third Person Example

  5. Import Ready Player Me Unity SDK

  6. Creating RPM Avatars

  7. Create Third Person Character Builder

  8. Animating the NPC

  9. Creating the Event Trigger

  10. Creating Chat UI

  11. Testing the NPC Dialog


    1주일간 여기까지 진행했습니다. 토론방에서 나눈 take aways,

    • NPC에 GPT를 연결하는 부분들은 여전히 어렵고 대화의 내용에 따라 캐릭터의 motion설정이 난해하다.

    • GPT의 대화가 튀는 부분을 vector DB, prompt설정, 금기어 screen으로 조절하는 기술필요

    • 채팅형식 + test to Speech 가 더 나을것 같음

    • 1:1 대화 형태의 서비스 (ex. personal.ai)를 눈에 보이는 유형의 캐릭터와 대화 구도로 전환하는 데에 도움될듯.

    • 유명인, 자신을 닮은 Digital Clone을 시도한다면 채팅형식이 아닌 avatar형식의 BM으로 사용가능





5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

김욱영 프로필 이미지
김욱영2023.06.19
게임 쪽 상호작용.. 정말 보면 볼 수록 미래가 빠르게 찾아올 듯 합니다. 사실 저 게임 인원이 커뮤니티에 활동할 수도 있고, 정말 여러군데 사용될 수 있어보이네요.
정준섭(나춘배) 프로필 이미지
와 벌써 여기까지 왔군요.. 무슨 1년도 안돼서 천지가 개벽하고있어요
김규학 프로필 이미지
김규학2023.06.20
좋은 글 감사합니다.

 'GPT의 대화가 튀는 부분을 vector DB, prompt설정, 금기어 screen으로 조절하는 기술필요'
이 부분 너무 궁금하네요. 진행하시게 되면 꼭 공유 부탁 드립니다!
서종원 러브탱 프로필 이미지
멋지네요 👍
도로시J 프로필 이미지
도로시J2023.11.29
브랜든님께서 시도해 보신 줄 몰랐네요^^.. 
아들에게 소개해 주겠습니다.. 페르소나와 MBTI를 결합한 NPC.
5달이 지난 지금, GPT+이후의 결과도 궁금합니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기