루트비히 폰 베토벤이 1827년에 사망했을 때, 그는 그의 대작으로 많은 사람들이 예고한 작품인 교향곡 9번이 완성되기까지 3년이 남았습니다. 그는 교향곡 10번 작업을 시작했지만 건강 악화로 많은 진전을 이루지 못했습니다. 그가 남긴 것은 음악 스케치 몇 개뿐이었습니다.
그 이후로 베토벤 팬들과 음악학자들은 그것이 가능했던 것에 대해 어리둥절하고 한탄해 왔습니다. 그의 쪽지는 비록 영원히 손이 닿지 않는 것처럼 보였지만 어떤 장엄한 보상에 대해 놀렸다.
이제 음악 역사가, 음악학자, 작곡가 및 컴퓨터 과학자로 구성된 팀의 작업 덕분에 베토벤의 비전이 실현될 것입니다.
저는 이 프로젝트의 인공 지능 측면을 관장하면서 기계에게 베토벤의 전체 작업과 창작 과정을 가르친 창의적인 AI 스타트업 Playform AI 의 과학자 그룹을 이끌었 습니다.
베토벤 교향곡 10번의 전체 녹음은 2021년 10월 9일에 공개될 예정이며, 이는 2년 이상의 노력이 결실을 맺은 독일 본에서 세계 초연 공연이 예정된 날짜와 같은 날입니다.
과거의 시도가 벽에 부딪쳤다
1817년경 런던의 왕립 필하모닉 협회는 베토벤에게 교향곡 9번과 10번을 작곡하도록 의뢰했습니다. 오케스트라를 위해 작곡된 교향곡에는 종종 4악장이 포함됩니다 . 첫 번째는 빠른 템포로, 두 번째는 느린 템포로, 세 번째는 중간 또는 빠른 템포로, 마지막은 빠른 템포로 연주됩니다.
베토벤 은 1824년에 교향곡 9번 을 완성했으며 이 교향곡 은 시대를 초월한 " 환희의 송가 "로 끝납니다 .
그러나 교향곡 10번이 되었을 때 베토벤은 몇 개의 음표와 그가 적었던 몇 가지 아이디어를 제외하고는 별로 남기지 않았습니다.
베토벤 교향곡 10번의 일부를 재구성하려는 과거의 시도가 있었습니다. 가장 유명한 것은 1988년에 음악학자 Barry Cooper가 1악장과 2악장을 완성하기 위해 도전한 것입니다. 그는 스케치에서 250마디의 음악을 조합하여 베토벤의 비전에 충실한 첫 번째 악장 을 제작 했다고 생각합니다.
그러나 베토벤 스케치의 희소성으로 인해 교향악 전문가들은 1악장을 넘어서는 것이 불가능했습니다.
팀 구성
2019년 초 , 오스트리아 잘츠부르크에 있는 음악 기술 진흥 단체 인 Karajan Institute 의 소장인 Dr. Matthias Röder가 저에게 연락을 했습니다. 그는 작곡가의 250번째 생일을 축하하기 위해 베토벤 교향곡 10번을 완성하기 위해 팀을 구성하고 있다고 설명했습니다. AI 생성 예술에 대한 나의 작업 을 알고 그는 AI가 베토벤이 남긴 공백을 채우는 데 도움이 될 수 있는지 알고 싶었습니다.
도전이 무거워 보였다. 이를 해내려면 AI가 이전에 해본 적이 없는 일을 해야 할 것입니다. 그러나 나는 한 번 해보겠다고 말했다.
그런 다음 Röder는 오스트리아 작곡가 Walter Werzowa가 포함된 팀을 구성했습니다. Intel의 시그니처 bong jingle 을 작성하는 것으로 유명한 Werzowa는 Beethoven이 남긴 것과 AI가 생성할 것을 통합하는 새로운 종류의 작곡을 구성하는 임무를 맡았습니다. 컴퓨터 음악 전문가인 Mark Gotham 은 AI가 적절하게 훈련될 수 있도록 베토벤의 스케치를 필사하고 전체 작업을 처리하는 작업을 주도했습니다.
팀 에는 놀라운 피아니스트이기도 한 하버드 대학교의 음악학자 로버트 레빈 도 포함되어 있습니다. Levin 은 이전 에 Mozart와 Johann Sebastian Bach 의 불완전한 18세기 작품을 다수 완성 했습니다 .
프로젝트가 구체화되다
2019년 6월, 이 그룹은 하버드 음악 도서관에서 이틀 간의 워크샵을 위해 모였습니다. 피아노, 칠판, 알려진 대부분의 베토벤 스케치북이 있는 넓은 방에서 우리는 조각을 완전한 음악으로 바꿀 수 있는 방법과 AI가 여전히 충실하면서도 이 퍼즐을 해결하는 데 도움이 될 수 있는 방법에 대해 이야기했습니다. 베토벤의 과정과 비전.
그 자리에 있던 음악 전문가들은 AI가 과거에 만든 음악의 종류에 대해 더 많이 알고 싶어 했습니다. 나는 그들에게 AI가 어떻게 바흐 스타일의 음악 을 성공적으로 만들어냈는지 이야기했다 . 그러나 이것은 입력된 멜로디를 바흐처럼 들린 화음일 뿐이었다. 우리가 해야 할 일에 근접하지 않았습니다. 소수의 프레이즈로 전체 교향곡을 구성하는 것입니다.
한편, 저를 포함하여 방에 있는 과학자들은 어떤 종류의 재료를 사용할 수 있는지, 그리고 전문가들이 이 재료를 사용하여 교향곡을 완성하는 방법을 알고 싶어했습니다.
당면한 과제는 결국 결정화되었습니다. 우리는 베토벤 자신이 작곡했을 수도 있는 무언가를 만들기 위해 베토벤의 전체 작품에서 노트와 완성된 작곡을 사용해야 했습니다. 교향곡 10번에서 사용 가능한 스케치와 함께 말이죠.
이것은 엄청난 도전이었습니다. 우리에게는 스케치를 제공하고 버튼을 누르고 교향곡을 뱉어낼 수 있는 기계가 없었습니다. 당시 사용 가능한 대부분의 AI는 몇 초 이상 미완성 음악을 계속할 수 없었습니다.
우리는 기계에게 베토벤의 창작 과정을 가르쳐서 창의적인 AI가 할 수 있는 것의 한계를 뛰어 넘어야 할 것입니다. 즉, 그가 몇 마디의 음악을 어떻게 공들여 감동적인 교향곡, 4중주 및 소나타로 발전시킬 것인지를 가르쳐야 합니다.
베토벤의 창작 과정을 결합하다
프로젝트가 진행되면서 협업의 인간적인 측면과 기계적인 측면이 진화했습니다. Werzowa, Gotham, Levin, Röder는 베토벤의 의도를 이해하기 위해 교향곡 10번의 스케치를 해독하고 필사했습니다. 완성된 그의 교향곡을 템플릿으로 사용하여 스케치 조각이 어디로 가야 하는지, 즉 어떤 움직임이 어떤 부분인지에 대한 퍼즐을 맞추려고 했습니다.
그들은 일반적으로 3악장에서 교향곡의 매우 활기찬 부분인 스케치 가 스케르초 의 시작점을 가리키는지 여부를 결정하는 것과 같은 결정을 내려야 했습니다 . 또는 음악 라인이 중심 주제를 반영하는 부분을 엮어서 만든 멜로디인 푸가 의 기초일 가능성이 있다고 결정할 수도 있습니다 .
프로젝트의 AI 측(내 측)은 다양한 도전적인 작업과 씨름하고 있습니다.
첫째, 가장 근본적으로 우리는 베토벤이 그랬던 것처럼 짧은 악구, 심지어는 모티브를 가져와 더 길고 복잡한 음악 구조를 개발하는 데 사용하는 방법을 알아낼 필요가 있었습니다. 예를 들어, 기계는 베토벤 이 기본 4음 모티프로 교향곡 5번을 구성한 방법을 배워야 했습니다 .
다음으로, 악구의 연속은 스케르초, 트리오 또는 푸가와 같은 특정 음악 형식을 따라야 하기 때문에 AI는 이러한 형식을 개발하는 베토벤의 프로세스를 배워야 했습니다.
할 일 목록이 늘어났습니다. 우리는 AI에게 멜로디 라인을 잡고 조화시키는 방법을 가르쳐야 했습니다. AI는 음악의 두 섹션을 연결하는 방법을 배워야 했습니다. 그리고 우리는 AI가 coda 를 구성할 수 있어야 한다는 것을 깨달았습니다. coda 는 음악의 한 부분을 결론으로 이끄는 부분입니다.
마지막으로, 일단 우리가 완전한 구성을 갖게 되면 AI는 그것을 오케스트레이션하는 방법을 알아내야 할 것입니다. 여기에는 서로 다른 부분에 서로 다른 악기를 할당하는 것이 포함됩니다.
그리고 베토벤이 할 수 있는 방식으로 이러한 작업을 수행해야 했습니다.
첫 번째 큰 테스트 통과
2019년 11월, 팀은 이번에는 작곡가가 태어나고 자란 본의 베토벤 하우스 박물관에서 다시 직접 만났습니다.
이 회의는 AI가 이 프로젝트를 완료할 수 있는지 여부를 판단하기 위한 리트머스 테스트였습니다. AI가 개발한 악보를 인쇄하여 베토벤 10번의 스케치를 바탕으로 제작했습니다. 박물관의 작은 콘서트 홀에서 한 피아니스트가 기자, 음악 학자 및 베토벤 전문가 그룹 앞에서 연주했습니다.
우리는 청중에게 베토벤의 악구가 어디에서 끝나고 AI 외삽이 시작되었는지 결정하도록 했습니다. 그들은 할 수 없었습니다.
며칠 후, 기자 회견에서 이 AI 생성 악보 중 하나가 현악 4중주 로 연주되었습니다 . 베토벤의 교향곡 10번 스케치를 잘 알고 있는 사람만이 AI가 생성한 부품이 언제 들어왔는지 알 수 있었습니다.
이 테스트의 성공은 우리가 올바른 길을 가고 있다는 것을 말해줍니다. 그러나 이것은 몇 분의 음악에 불과했습니다. 아직 해야 할 일이 훨씬 더 많았다.
세상을 위한 준비
모든 면에서 베토벤의 천재성이 어렴풋이 나타나 우리가 더 잘할 수 있도록 도전했습니다. 프로젝트가 발전함에 따라 AI도 발전했습니다. 이어지는 18개월 동안 우리는 각각 20분이 넘는 두 개의 전체 악장을 구성하고 오케스트레이션했습니다.
우리는 이 작업에 대한 약간의 반발을 예상합니다. 예술은 AI로부터 금지되어야 하고 AI는 인간의 창작 과정을 복제하려는 사업이 없다고 말할 것입니다. 그러나 예술과 관련하여 저는 AI를 대체물이 아니라 예술가가 새로운 방식으로 자신을 표현할 수 있는 문을 열어주는 도구로 생각합니다.
이 프로젝트는 인류 역사가와 음악가의 전문성이 없었다면 불가능했을 것입니다. 이 목표를 달성하는 데는 엄청난 양의 작업이 필요했습니다. 물론 창의적인 사고도 필요했습니다.
어느 순간 팀의 음악 전문가 중 한 명이 AI가 그에게 매일 연습하고 배우고 더 나아지는 열정적인 음악 학생을 상기시켰다고 말했습니다.
이제 베토벤의 지휘봉을 잡은 그 학생은 교향곡 10번을 세상에 선보일 준비가 되었습니다.
Ahmed Elgammal 은 Rutgers 대학의 컴퓨터 공학과 교수이자 Rutgers의 Art & AI Lab 소장입니다.
이 기사는 Creative Commons 라이선스에 따라 The Conversation 에서 다시 게시됩니다 . 여기 에서 원본 기사를 찾을 수 있습니다 .
