오늘은 아무렇지도 않게 침대에 앉아 잠을 자고 있는데 갑자기 다음과 같은 메시지를 받았습니다.

그리고 예상대로 나는 그것을 봤고 소년은 충격을 받았습니다!!

구글링을 해보니 이런 인사가 나왔다. 제목에서 나는 내가 직면하게 될 것을 알고 있었다.

나는 연구 논문을 보고 깜짝 놀랐다. 이것은 굉장합니다.

무엇부터 시작할까요 ??

MusicLM은 Google Research에서 개발한 텍스트 설명에서 음악을 생성하는 AI 모델입니다. 몇 분 동안 일관되게 유지되는 충실도 높은 음악을 생성하기 위해 계층적 시퀀스 간 모델링 접근 방식을 사용합니다. 이 모델은 "왜곡된 기타 리프로 뒷받침되는 차분한 바이올린 멜로디"와 같은 텍스트 설명에서 음악을 생성할 수 있으며 텍스트와 멜로디 모두에 조건을 지정할 수도 있습니다. 이 연구는 AI 음악 생성 분야에서 상당한 발전을 제공하고 음악 산업에 큰 영향을 미칠 가능성이 있습니다.

어떻게 작동합니까 ??

MusicLM은 텍스트 프롬프트가 주어지면 음악을 생성할 수 있는 기계 학습 모델입니다. 이 모델은 (1) 오디오 및 텍스트의 표현 및 토큰화, (2) 오디오 표현의 계층적 모델링의 두 부분으로 구성됩니다.

첫 번째 부분에서 모델은 세 가지 다른 모델을 사용하여 오디오 표현을 추출합니다. 첫 번째 모델인 SoundStream은 자체 감독 오디오 표현을 사용하여 충실도 높은 음악 합성을 제공합니다. 두 번째 모델인 w2v-BERT는 시맨틱 토큰을 사용하여 장기간에 걸쳐 일관된 음악을 생성하는 데 도움을 줍니다. 세 번째 모델인 MuLan은 텍스트 프롬프트가 주어진 음악을 나타내는 데 사용됩니다.

두 번째 부분에서 모델은 첫 번째 부분의 개별 오디오 표현을 결합하고 두 단계로 음악을 생성합니다. 첫 번째 단계에서 모델은 MuLan 오디오 토큰을 시맨틱 토큰에 매핑합니다. 두 번째 단계에서 모델은 MuLan 오디오 토큰과 시맨틱 토큰이 주어진 음향 토큰을 생성합니다. 이 생성 프로세스는 각 스테이지에 디코더 전용 Transformer를 사용하여 수행됩니다.

추론 시 모델은 텍스트 프롬프트에서 계산된 MuLan 텍스트 토큰을 조건 신호로 사용하고 생성된 오디오 토큰을 SoundStream 디코더를 사용하여 파형으로 변환합니다.

그것이 세상에 어떤 영향을 미칠까요?

MusicLM은 음악 제작 및 분석과 관련된 특정 작업을 자동화할 수 있기 때문에 음악 세계에 미치는 잠재적 영향은 상당할 수 있습니다. 이것은 음악을 만들고 배포하는 새롭고 보다 효율적인 방법으로 이어질 뿐만 아니라 음악적 경향과 패턴에 대한 새로운 통찰력을 제공할 수 있습니다. 그러나 AI가 생성한 음악의 발전은 AI가 인간의 창의성을 진정으로 복제할 수 있는 정도와 같은 윤리적이고 창의적인 질문을 제기한다는 점에 주목하는 것도 중요합니다. MusicLM이 세계에 미치는 궁극적인 영향은 AI 및 음악 분야의 향후 연구 개발 방향과 사용 방법에 달려 있습니다.

AI가 어떤 놀라운 일을 하게 될지 정말 기대됩니다. 2023년 AI의 훌륭한 출발.

이 문서의 모든 참조는 여기에서 찾을 수 있습니다.

• https://google-research.github.io/seanet/musiclm/examples/
• https://arxiv.org/pdf/2301.11325.pdf

읽어주셔서 감사합니다 , 다음 주에 만나요.