한 개발자가 ChatGPT를 Stable Diffusion과 결합하여 ChatGPT에 개성을 부여하고 STT 및 음성 합성을 사용하여 몰입형 대화 경험을 만드는 <가상 와이프>를 다음과 같은 과정을 거쳐 만듦
- ChatGPT에 성격을 부여 (로맨틱한 관계에 있다든가, 배경스토리라든가)
- 내가 한 말을 STT로 텍스트 변환 후 ChatGPT에 입력하면, 그 대답 부분만 추출해서 음성합성으로 들려줌
- ChatGPT로 대답에서 핵심 키워드를 몇개 만들어냄. 이를 Stable Diffusion에 넣어 그림을 생성함. 그러면 애니메 캐릭터가 햄버거를 먹는 사진이 대답과 함께 같이 보여지게 됨.