본문으로 건너뛰기

HuggingFace에서 좋아하는 영화들(범죄와의전쟁 등) 명대사로 노래 만들기

강성준

2024.04.23

HuggingFace에서 좋아하는 영화들(범죄와의전쟁 등) 명대사로 노래 만들기 본문 이미지

라고 제목을 썼지만 결론부터 두괄식으로 말씀 드리자면 최종적으로는 Suno에서 만들었습니다. 하지만 Suno의 초기모델인 Bark가 바로 허깅페이스에 올라와있기에 그 의미가 깊다 할수 있겠습니다.

#HuggingFace #10기

안녕하세요. 이번 주차에는 HuggingFace space에서 굉장히 많은 음악만드는 AI model들이 주목을 받았습니다. Suno.ai 및 Udio가 워낙 강력한 퍼포먼스를 보여주었기 때문이 아닌가 하는 생각이 들었습니다. 먼저 모델들 몇 개를 소개드리고, 제목에 쓰인 영화 명대사로 노래만들기를 진행해보겠습니다.

<Parler-TTS, AI Jukebox, Human idea→Music, Tango2 (상위 8개 중 4개가 음악, TTS관련)>

이 중에서도 “AI-Jukebox”는 바로 상용화를 노리는 것인지 인터페이스가 매우 커머셜적이었습니다. Suno 보다 퀄리티는 좋지 않았지만 “공짜”임에 한표를..!

<AI-Jukebox>

시간은 30초 생성, 가사는 안되고, 분위기나 instruction 지시 가능! 인터페이스가 멋짐!

<Tango2 - TTS>

노래보다는 사운드이펙트를 생성하는 느낌

<MetaVoice-1B>

언어를 잘 생성하지만 영어만 가능, 목소리 화자 예시 중 선택 가능(Bria, Alex, Jacob), Target voice upload가능(내목소리로 가능할듯, 어떤 오디오 파일이어야 하는지는 미확인)

Speech stability similarity등 조정 가능

<Parler-TTS>

Text input과 Voice description을 통해 목소리의 특성을 적을수 있다. (남자, 여자, 낮은톤 높은톤 등등) 하지만 여전히 영어만 된다는 문제점…

<Suno Bark - 2023년 11월 마지막 업데이트… 그러나 여전히 매우 강력한 모델>

Suno v3는 상용화 모델로 쓰이고 있기에 작년 모델인 Bark가 huggingFace에 올라와 있습니다. 아무래도 최신모델은 기밀을 유지하는듯하고, 그래도 그 근간이되는 모델을 공개해주었네요.

가장 큰 장점은 한글이 먹힌다는 점!!

그렇다면 미션을 통해 한번 테스트를 진행해보자.

먼저 MetaVoice 의 최익현씨 성대모사를 들어보자

느그서장남천동(1).wav느그서장남천동(2).wav

다음은 Parler-TTS의 고니와 아귀의 명대사를 들어보자

동작그만(1).wav동작그만(2).wav

ㅋㅋㅋㅋㅋㅋ

지금까지 HuggingFace 극단의 외국인 배우의 한국영화 명대사 열연을 보셨습니다. 박수!

이렇게 마치면 좀 아쉽죠. 상용화모델인 Suno에서 가장 앞선 기술은 어떤지 한번 같이 들어보는것으로 사례를 마무리하겠습니다. 감사합니다.

Suno에서도 자동생성 가사 뿐 아니라 Custom가사를 적용할 수 있는 기능이 있습니다.

저기 가사를 넣고 Generate를 누르면 아래와 같은 작품 생성이 가능합니다.

여자 Kpop 아이돌 버전 <느그 서장 남천동 살제>

Your seojang living in namcheondong(1).mp3

남자 Kpop 아이돌 버전 <느그 서장 남천동 살제 2>

your seojang 2 (1).mp3

여자 Kpop 아이돌 버전 <동작그만 밑장빼기냐?>

Undercard drawing.mp3

남자 Kpop 아이돌 버전 <시나리오 쓰고 있네 XX섀키가>

Writing scenario.mp3

또, Suno에서는 생성한 곡에 그대로 뒤이어 곡을 추가 생성하는 “Extend”기능도 생겼습니다.

요렇게 이전 노래에서 Extend를 선택하고 다음가사를 적은 다음 Continue를 하면 뒤이은 노래가 자연스럽게 이어서 생성됩니다. 이렇게 해서 3-4분 이상의 풀버전 노래도 제작이 가능합니다.

<Extend 예시>

  1. 느그서장 남천동살제

  2. 동작그만 밑장빼기냐? (—> 여기서 스무스하게 최익현상에서 고니로 넘어갑니다.)

  3. 뭐하냐 너네형님 손모가지 안찍고?

  4. 영어 가사(The Gambler’s Game) 로도 잘 연결됩니다.


—> 남돌 풀버전(3분) <느그 서장은 타짜고 남천동에 살아>
https://suno.com/playlist/df206965-0e4c-4f81-8534-c578ab2eda3b

Suno

명곡이네요. 작곡가는 SUNO, 작사가는 두 영화 감독님들이 바로 작사가이십니다. 저는 단지 두 재능을 만나게 하는 역할정도만 했습니다.

근데 사실 가사를 영화 명대사로 Custom을 하려면 생각보다 고려할게 꽤 많습니다. 일단 욕설 필터링이 전혀 안되서 XX새키, OO놈 등의 영화 대사는 필터를 해야하고, 웃음소리나 고유명사는 발음이 안되기 때문에 바꿔주어야 합니다. 그리고 띄어쓰기의 경우에도 잘 고려를 하는게 좋고, 쉼표나 마침표, 공백을 통해 적절한 노래의 호흡을 만들어주는 작업도 수반되어야 합니다. 글고 멜로디나 분위기도 여러번 돌려서 최적을 선택하는게 좋았구요. 걍 자동 돌려도 평균 이상의 노래가 나오는것이 Suno의 특징이고 그게 참 신기합니다만, 좋아하는 영화 대사로 노래를 만드는것은 거기서 조금 더 수고스러운만큼 더 재밌으니 다들 좋아하시는 영화로 도전해보시는것도 괜찮으실것같습니다!

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

강성준 프로필 이미지
강성준2024.04.26

@눈오지 ㅋㅋㅋㅋ맞아요 ㅋㅋ

눈오지 프로필 이미지
눈오지2024.04.26

ㅋㅋㅋ suno 쓸 때 공백이랑 스페이스바 고려하는 건 공감합니다.

강성준 프로필 이미지
강성준2024.04.24

@kimyeonghun(리얼리2) 감사합니다!

김영훈(리얼리) 프로필 이미지

허깅페이스 사이트에 있는 정보를 알기쉽게 테스트해서 활용하는 방법 및 유익한 정보 감사합니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기