LLM to NPC using Unity 3D 2탄

Unity 3D 엔진으로 NPC 캐릭터를 만들고 GPT3.5를 연결, persona, MBTI 등을 설정하여 일관성있는 대화가 가능한 Virtual World 만들기 2탄입니다.

(참고영상→ (450) Making NPCs with ChatGPT in Unity! - YouTube)

지난주 1탄에서 비개발자인 제가 한달동안 유투브(Sarge)와, 유니티강의, 뤼튼을 활용해서 캐릭터에 GPT연결하기를 소개드렸었고 1주일간 작업한 내용 발표드립니다.

1. ReadyPlayerMe에 나, 친구(Amy), Kendall Jenner(이상형) 사진을 넣어 아바타 설정

   

2. Unity3d에서 smart pack(avatar, OpenAI, Unity Starter Asset을 NPC에 적용하는 package) install

3. ChatGPT를 Unity3d에 install(Import the OpenAI-Unity Package)

   • C# script에서 ‘prompt’부분의 persona설정(3명의 캐릭터의 이름과(Elsa, Brandon, Kendall) 그에 맞는 성격, history, User와의 관계를 설정)

4. Import Starter Assets Third Person Example

5. Import Ready Player Me Unity SDK

6. Creating RPM Avatars

   

7. Create Third Person Character Builder

8. Animating the NPC

9. Creating the Event Trigger

10. Creating Chat UI

11. Testing the NPC Dialog

    

    • GitHub: https://github.com/srcnalt/RPM-Smart-NPC

    • OpenAI-Unity Package: https://github.com/srcnalt/OpenAI-Unity

    
    

    1주일간 여기까지 진행했습니다. 토론방에서 나눈 take aways,

    • NPC에 GPT를 연결하는 부분들은 여전히 어렵고 대화의 내용에 따라 캐릭터의 motion설정이 난해하다.

    • GPT의 대화가 튀는 부분을 vector DB, prompt설정, 금기어 screen으로 조절하는 기술필요

    • 채팅형식 + test to Speech 가 더 나을것 같음

    • 1:1 대화 형태의 서비스 (ex. personal.ai)를 눈에 보이는 유형의 캐릭터와 대화 구도로 전환하는 데에 도움될듯.

    • 유명인, 자신을 닮은 Digital Clone을 시도한다면 채팅형식이 아닌 avatar형식의 BM으로 사용가능