Ketika Ludwig von Beethoven meninggal pada tahun 1827, dia tiga tahun dihapus dari penyelesaian Simfoni Kesembilannya, sebuah karya yang digembar-gemborkan oleh banyak orang sebagai magnum opusnya. Dia telah mulai mengerjakan Symphony ke-10 tetapi, karena kesehatannya yang memburuk , tidak dapat membuat banyak kemajuan: Yang dia tinggalkan hanyalah beberapa sketsa musik.
Sejak saat itu, penggemar dan ahli musik Beethoven bingung dan menyesali apa yang mungkin terjadi. Catatannya menggoda pada beberapa hadiah yang luar biasa, meskipun yang tampaknya selamanya di luar jangkauan.
Sekarang, berkat kerja tim sejarawan musik, ahli musik, komposer, dan ilmuwan komputer, visi Beethoven akan terwujud.
Saya memimpin sisi kecerdasan buatan dari proyek tersebut, memimpin sekelompok ilmuwan di startup AI kreatif Playform AI yang mengajarkan sebuah mesin baik keseluruhan kerja Beethoven maupun proses kreatifnya.
Rekaman penuh dari Beethoven's 10th Symphony akan dirilis pada 9 Oktober 2021, hari yang sama dengan pertunjukan perdana dunia yang dijadwalkan berlangsung di Bonn, Jerman — puncak dari upaya dua tahun lebih.
Upaya Masa Lalu Membentur Tembok
Sekitar tahun 1817, Royal Philharmonic Society di London menugaskan Beethoven untuk menulis simfoni kesembilan dan ke-10. Ditulis untuk orkestra, simfoni sering berisi empat gerakan : yang pertama dilakukan dengan tempo cepat, yang kedua dengan tempo yang lebih lambat, yang ketiga dengan tempo sedang atau cepat, dan yang terakhir dengan tempo yang cepat.
Beethoven menyelesaikan Simfoni Kesembilannya pada tahun 1824, yang diakhiri dengan " Ode to Joy " yang tak lekang oleh waktu .
Tetapi ketika sampai pada 10th Symphony, Beethoven tidak meninggalkan banyak hal, selain beberapa not musik dan beberapa ide yang telah dia tulis.
Ada beberapa upaya masa lalu untuk merekonstruksi bagian dari 10 Symphony Beethoven. Yang paling terkenal, pada tahun 1988, musikolog Barry Cooper memberanikan diri untuk menyelesaikan gerakan pertama dan kedua. Dia menyatukan 250 bar musik dari sketsa untuk menciptakan apa yang, dalam pandangannya, merupakan produksi gerakan pertama yang setia pada visi Beethoven.
Namun sketsa Beethoven yang jarang membuat mustahil bagi para ahli simfoni untuk melampaui gerakan pertama itu.
Merakit Tim
Pada awal 2019, Dr. Matthias Röder, direktur Institut Karajan , sebuah organisasi di Salzburg, Austria, yang mempromosikan teknologi musik, menghubungi saya. Dia menjelaskan bahwa dia sedang membentuk sebuah tim untuk menyelesaikan Simfoni ke-10 Beethoven dalam perayaan ulang tahun ke-250 sang komposer. Menyadari pekerjaan saya pada seni yang dihasilkan AI , dia ingin tahu apakah AI dapat membantu mengisi kekosongan yang ditinggalkan oleh Beethoven.
Tantangan itu tampak menakutkan. Untuk melakukannya, AI perlu melakukan sesuatu yang belum pernah dilakukan sebelumnya. Tapi saya bilang saya akan mencobanya.
Röder kemudian menyusun tim yang mencakup komposer Austria Walter Werzowa. Terkenal karena menulis bong jingle khas Intel , Werzowa ditugaskan untuk menyusun jenis komposisi baru yang akan mengintegrasikan apa yang ditinggalkan Beethoven dengan apa yang akan dihasilkan oleh AI. Mark Gotham , seorang ahli musik komputasi, memimpin upaya untuk menyalin sketsa Beethoven dan memproses seluruh karyanya sehingga AI dapat dilatih dengan baik.
Tim tersebut juga termasuk Robert Levin , seorang ahli musik di Universitas Harvard yang juga merupakan seorang pianis yang luar biasa. Levin sebelumnya telah menyelesaikan sejumlah karya abad ke-18 yang tidak lengkap oleh Mozart dan Johann Sebastian Bach .
Proyek Menjadi Bentuk
Pada Juni 2019, kelompok tersebut berkumpul untuk lokakarya dua hari di perpustakaan musik Harvard. Di sebuah ruangan besar dengan piano, papan tulis, dan setumpuk buku sketsa Beethoven yang mencakup sebagian besar karyanya yang terkenal, kami berbicara tentang bagaimana fragmen dapat diubah menjadi karya musik yang lengkap dan bagaimana AI dapat membantu memecahkan teka-teki ini, sambil tetap setia untuk proses dan visi Beethoven.
Pakar musik di ruangan itu sangat ingin mempelajari lebih lanjut tentang jenis musik yang telah dibuat AI di masa lalu. Saya memberi tahu mereka bagaimana AI berhasil menghasilkan musik dengan gaya Bach . Namun, ini hanya harmonisasi melodi yang diinput yang terdengar seperti Bach. Itu tidak mendekati apa yang perlu kami lakukan: membangun seluruh simfoni dari beberapa frasa.
Sementara itu, para ilmuwan di ruangan itu — termasuk saya sendiri — ingin mempelajari tentang jenis bahan apa yang tersedia, dan bagaimana para ahli membayangkan menggunakannya untuk menyelesaikan simfoni.
Tugas yang dihadapi akhirnya mengkristal. Kita perlu menggunakan catatan dan komposisi lengkap dari keseluruhan karya Beethoven — bersama dengan sketsa yang tersedia dari 10th Symphony — untuk menciptakan sesuatu yang mungkin telah ditulis oleh Beethoven sendiri.
Ini adalah tantangan yang luar biasa. Kami tidak memiliki mesin yang dapat digunakan untuk memberi makan sketsa, menekan tombol, dan mengeluarkan simfoni. Sebagian besar AI yang tersedia saat itu tidak dapat melanjutkan musik yang belum selesai lebih dari beberapa detik.
Kita perlu mendorong batas-batas apa yang dapat dilakukan AI kreatif dengan mengajarkan proses kreatif mesin Beethoven — bagaimana ia akan mengambil beberapa batang musik dan dengan susah payah mengembangkannya menjadi simfoni, kuartet, dan sonata yang menggugah.
Menggabungkan Proses Kreatif Beethoven
Seiring perkembangan proyek, sisi manusia dan sisi mesin dari kolaborasi berkembang. Werzowa, Gotham, Levin, dan Röder menguraikan dan menyalin sketsa dari 10th Symphony, mencoba memahami maksud Beethoven. Dengan menggunakan simfoni-simfoni lengkapnya sebagai template, mereka mencoba untuk menyusun teka-teki ke mana potongan-potongan sketsa harus pergi — gerakan mana, bagian mana dari gerakan itu.
Mereka harus membuat keputusan, seperti menentukan apakah sketsa menunjukkan titik awal scherzo , yang merupakan bagian yang sangat hidup dari simfoni, biasanya dalam gerakan ketiga. Atau mereka mungkin menentukan bahwa garis musik kemungkinan merupakan dasar dari fugue , yang merupakan melodi yang dibuat dengan menjalin bagian-bagian yang semuanya menggemakan tema sentral.
The AI side of the project — my side — found itself grappling with a range of challenging tasks.
First, and most fundamentally, we needed to figure out how to take a short phrase, or even just a motif, and use it to develop a longer, more complicated musical structure, just as Beethoven would have done. For example, the machine had to learn how Beethoven constructed the Fifth Symphony out of a basic four-note motif.
Next, because the continuation of a phrase also needs to follow a certain musical form, whether it's a scherzo, trio or fugue, the AI needed to learn Beethoven's process for developing these forms.
Daftar tugas bertambah: Kami harus mengajari AI cara mengambil garis melodi dan menyelaraskannya. AI perlu belajar bagaimana menjembatani dua bagian musik bersama-sama. Dan kami menyadari bahwa AI harus mampu membuat coda , yaitu segmen yang membawa bagian dari sebuah musik ke kesimpulannya.
Akhirnya, setelah kami memiliki komposisi lengkap, AI harus mencari cara untuk mengaturnya, yang melibatkan penetapan instrumen yang berbeda untuk bagian yang berbeda.
Dan itu harus melakukan tugas-tugas ini dengan cara yang mungkin dilakukan Beethoven.
Melewati Ujian Besar Pertama
Pada November 2019, tim bertemu kembali secara langsung — kali ini, di Bonn, di Beethoven House Museum, tempat sang komposer lahir dan dibesarkan.
This meeting was the litmus test for determining whether AI could complete this project. We printed musical scores that had been developed by AI and built off the sketches from Beethoven's 10th. A pianist performed in a small concert hall in the museum before a group of journalists, music scholars and Beethoven experts.
We challenged the audience to determine where Beethoven's phrases ended and where the AI extrapolation began. They couldn't.
A few days later, one of these AI-generated scores was played by a string quartet in a news conference. Only those who intimately knew Beethoven's sketches for the 10th Symphony could determine when the AI-generated parts came in.
The success of these tests told us we were on the right track. But these were just a couple of minutes of music. There was still much more work to do.
Ready for the world
At every point, Beethoven's genius loomed, challenging us to do better. As the project evolved, the AI did as well. Over the ensuing 18 months, we constructed and orchestrated two entire movements of more than 20 minutes apiece.
We anticipate some pushback to this work — those who will say that the arts should be off-limits from AI, and that AI has no business trying to replicate the human creative process. Yet when it comes to the arts, I see AI not as a replacement, but as a tool — one that opens doors for artists to express themselves in new ways.
This project would not have been possible without the expertise of human historians and musicians. It took an immense amount of work — and, yes, creative thinking — to accomplish this goal.
At one point, one of the music experts on the team said that the AI reminded him of an eager music student who practices every day, learns, and becomes better and better.
Now that student, having taken the baton from Beethoven, is ready to present the 10th Symphony to the world.
Ahmed Elgammal is a professor in the Department of Computer Science at Rutgers University and director of the Art & AI Lab at Rutgers.
This article is republished from The Conversation under a Creative Commons license. You can find the original article here.
