소개
립싱크 기능이 고도화 되어가는데, 클링ai에서 립싱크 기능을 업 데이트 했다고 해서 오픈아트ai에 갔는데, 아직 최신 버전은 적용이 안되었지만 일단 다 해봄!@
크링ai 적용은 오늘 스터디에서 결제하고 도오저언? 예정!
진행 방법
기획 - 후킹영상이 들어간 상세페이지 GPT's
사진 준비 - 제미나이(나노바나나)
소녀가 소파에 박제 동물을 들고
후킹영상이 들어간 상세페이지 만들기 GPTs에 들어가서 기존에 상세페이지와 영상을 기획한 채팅창 맨 아래에 신규 영상 기획을 위해서 위와 같이 영상을 만들 이미지 1장과 설명을 달아줍니다.
우선 일레븐랩스 목소리가 필요하니가 요청!
이 때 감정과 다양한 톤으로 이야기를 할 수 있게 해주는 오디오태그 가이드를 인공지능에게 학습을 시켜주어야 합니다(최신 기능이라 잘 모름!)
멘트를 수정하고, 계속 바꾸다가 드디어 완성!
오디오태그는 [] 안에 들어간 말로 멈춤, 따뜻한 톤으로, 빠르게, 숨을 참고 등등의 표현으로 만들면 됩니다. 영어로 적혀있지만, 한글 태그도 잘 읽으니 어렵지 않게 작성 가능!(지피티한테 가이드 주면 잘 만들어줌!)
컴퓨터 화면에서 비디오의 스크린 샷
이제, 오픈아트ai에 와서 작업을 시작합니다.
비디오 > Lip-Sync Video > Hedra(Fast) 등 모델 선택 > 이미지 업로드 > 오디오 파일 업로드 > 프롬프트 입력 > 생성자 그럼 어떻게 나올까?
테디 베어를 들고있는 여자의 사진 그룹
일단 완벽하게 나온 것은 없다...?!
결과와 배운 점
오픈아트ai 립싱크모델은 카메라 액션까지 프롬프트를 잘 적용해서 영상을 만들어줍니다. 립싱크 부분이(최신 버전 업데이트가 아직 안된 상황) 조금 어긋나는데, 최신 버전은 정말 잘 나왔다고 하니 해봅시다... 여튼 그런데 문제점은 자꾸 새로운 쿠션이 생기고, 쿠션이 변형이 되어서 눙물이 납니다.
립싱크 강자 Hedra 에서는 입모양과 목소리가 정말 잘 맞고 잘 만들어 줍니다. 하지만 카메라가 고정이고, 정적이어서 조금 아쉬운 느낌이 강합니다.
음성파일
영상이 음성파일 길이에 딱 맞게 나오는 것을 알 수 있었다!
오픈아트 ai 립싱크 모델은 음성 길이 90초까지 지원 -> 즉 90초 길이의 목소리가 들어간 영상을 사진 한 장으로 뚝딱 만들 수 있다는 말씀!!!
Hedra 모델은 음성 길이 60초까지 지원!
