라고 제목을 썼지만 결론부터 두괄식으로 말씀 드리자면 최종적으로는 Suno에서 만들었습니다. 하지만 Suno의 초기모델인 Bark가 바로 허깅페이스에 올라와있기에 그 의미가 깊다 할수 있겠습니다.
#HuggingFace #10기
안녕하세요. 이번 주차에는 HuggingFace space에서 굉장히 많은 음악만드는 AI model들이 주목을 받았습니다. Suno.ai 및 Udio가 워낙 강력한 퍼포먼스를 보여주었기 때문이 아닌가 하는 생각이 들었습니다. 먼저 모델들 몇 개를 소개드리고, 제목에 쓰인 영화 명대사로 노래만들기를 진행해보겠습니다.
<Parler-TTS, AI Jukebox, Human idea→Music, Tango2 (상위 8개 중 4개가 음악, TTS관련)>
이 중에서도 “AI-Jukebox”는 바로 상용화를 노리는 것인지 인터페이스가 매우 커머셜적이었습니다. Suno 보다 퀄리티는 좋지 않았지만 “공짜”임에 한표를..!
<AI-Jukebox>
시간은 30초 생성, 가사는 안되고, 분위기나 instruction 지시 가능! 인터페이스가 멋짐!
<Tango2 - TTS>
노래보다는 사운드이펙트를 생성하는 느낌
<MetaVoice-1B>
언어를 잘 생성하지만 영어만 가능, 목소리 화자 예시 중 선택 가능(Bria, Alex, Jacob), Target voice upload가능(내목소리로 가능할듯, 어떤 오디오 파일이어야 하는지는 미확인)
Speech stability similarity등 조정 가능
<Parler-TTS>
Text input과 Voice description을 통해 목소리의 특성을 적을수 있다. (남자, 여자, 낮은톤 높은톤 등등) 하지만 여전히 영어만 된다는 문제점…
<Suno Bark - 2023년 11월 마지막 업데이트… 그러나 여전히 매우 강력한 모델>
Suno v3는 상용화 모델로 쓰이고 있기에 작년 모델인 Bark가 huggingFace에 올라와 있습니다. 아무래도 최신모델은 기밀을 유지하는듯하고, 그래도 그 근간이되는 모델을 공개해주었네요.
가장 큰 장점은 한글이 먹힌다는 점!!
그렇다면 미션을 통해 한번 테스트를 진행해보자.
먼저 MetaVoice 의 최익현씨 성대모사를 들어보자
다음은 Parler-TTS의 고니와 아귀의 명대사를 들어보자
ㅋㅋㅋㅋㅋㅋ
지금까지 HuggingFace 극단의 외국인 배우의 한국영화 명대사 열연을 보셨습니다. 박수!
이렇게 마치면 좀 아쉽죠. 상용화모델인 Suno에서 가장 앞선 기술은 어떤지 한번 같이 들어보는것으로 사례를 마무리하겠습니다. 감사합니다.
Suno에서도 자동생성 가사 뿐 아니라 Custom가사를 적용할 수 있는 기능이 있습니다.
저기 가사를 넣고 Generate를 누르면 아래와 같은 작품 생성이 가능합니다.
여자 Kpop 아이돌 버전 <느그 서장 남천동 살제>
Your seojang living in namcheondong(1).mp3남자 Kpop 아이돌 버전 <느그 서장 남천동 살제 2>
your seojang 2 (1).mp3여자 Kpop 아이돌 버전 <동작그만 밑장빼기냐?>
Undercard drawing.mp3남자 Kpop 아이돌 버전 <시나리오 쓰고 있네 XX섀키가>
Writing scenario.mp3또, Suno에서는 생성한 곡에 그대로 뒤이어 곡을 추가 생성하는 “Extend”기능도 생겼습니다.
요렇게 이전 노래에서 Extend를 선택하고 다음가사를 적은 다음 Continue를 하면 뒤이은 노래가 자연스럽게 이어서 생성됩니다. 이렇게 해서 3-4분 이상의 풀버전 노래도 제작이 가능합니다.
<Extend 예시>
느그서장 남천동살제
동작그만 밑장빼기냐? (—> 여기서 스무스하게 최익현상에서 고니로 넘어갑니다.)
뭐하냐 너네형님 손모가지 안찍고?
영어 가사(The Gambler’s Game) 로도 잘 연결됩니다.
—> 남돌 풀버전(3분) <느그 서장은 타짜고 남천동에 살아>
https://suno.com/playlist/df206965-0e4c-4f81-8534-c578ab2eda3b
명곡이네요. 작곡가는 SUNO, 작사가는 두 영화 감독님들이 바로 작사가이십니다. 저는 단지 두 재능을 만나게 하는 역할정도만 했습니다.
근데 사실 가사를 영화 명대사로 Custom을 하려면 생각보다 고려할게 꽤 많습니다. 일단 욕설 필터링이 전혀 안되서 XX새키, OO놈 등의 영화 대사는 필터를 해야하고, 웃음소리나 고유명사는 발음이 안되기 때문에 바꿔주어야 합니다. 그리고 띄어쓰기의 경우에도 잘 고려를 하는게 좋고, 쉼표나 마침표, 공백을 통해 적절한 노래의 호흡을 만들어주는 작업도 수반되어야 합니다. 글고 멜로디나 분위기도 여러번 돌려서 최적을 선택하는게 좋았구요. 걍 자동 돌려도 평균 이상의 노래가 나오는것이 Suno의 특징이고 그게 참 신기합니다만, 좋아하는 영화 대사로 노래를 만드는것은 거기서 조금 더 수고스러운만큼 더 재밌으니 다들 좋아하시는 영화로 도전해보시는것도 괜찮으실것같습니다!