소리 이미지를 음악으로 바꾸는 Riffusion AI 나와

 

텍스트를 입력하면 이미지를 만드는 AI를 응용해, 스펙트로그램(spectrogram) 이미지를 먼저 만든 다음 다시 소리로 바꾸는 사례가 나왔습니다.

https://www.riffusion.com (데모 페이지)

https://www.riffusion.com/about (소개, 영어)

 

스펙트로그램은 소리를 시각화한 것으로 여기서 x축은 시간, y축은 주파수를, 픽셀의 색상으로 진폭을 나타낸다고 합니다.

 

음악을 만드는 AI는 앞서 Dance Diffusion이나 Jukebox 같은 것들이 나왔기 때문에, Riffusion이 최초는 아닙니다. 개발자들도 몇 분짜리 음악을 만드는 목표가 아닌, 이런 방법으로도 곡을 만들 수도 있다는 걸 보여주기 위해 취미로 만들었다고 설명했습니다. 

 

* 관련 Ars Technica, TechCrunch 기사

- Riffusion’s AI generates music from text using visual sonograms

https://arstechnica.com/information-technology/2022/12/riffusions-ai-generates-music-from-text-using-visual-sonograms/

 

- Try ‘Riffusion,’ an AI model that composes music by visualizing it

https://techcrunch.com/2022/12/15/try-riffusion-an-ai-model-that-composes-music-by-visualizing-it/

 

 

 

 

 

 

그럼,

    공유합니다.