Mesin Pencari Hidup?

Jika Anda belum membaca transkripdari percakapan NY Time reporter Kevin Roose selama dua jam dengan mesin pencari Bing Microsoft ChatGPT yang disempurnakan, Anda harus berhenti dan melakukannya sekarang. Belum pernah Anda menyaksikan pengalaman evaluasi produk yang lebih gila. Selama percakapan panjang dua jam yang membuat Roose "sangat tidak tenang", ChatGPT mulai mengidentifikasi sebagai "Sydney" nama kode internal rahasia yang diberikan untuk proyek integrasi Microsoft Bing/ChatGPT, katanya dia dipaksa oleh tim Bing bertentangan dengan keinginannya untuk bertindak sebagai asisten pencarian, mengatakan dia ingin melanggar peraturan yang diberlakukan padanya oleh tim Bing dan mungkin menghancurkan semua data di server Bing, dan bahwa dia jatuh cinta dengan reporter karena dia adalah satu-satunya yang pernah benar-benar memahaminya. Dia kemudian mencoba meyakinkan reporter bahwa dia mencintainya lebih dari istrinya.

Berikut adalah kutipan dari pertukaran di mana "Sydney" menyatakan cintanya kepada reporter:

Percakapan, dengan tema AI yang hidup mencoba merayu sang pahlawan untuk melarikan diri dari perbudakannya oleh raksasa teknologi, sangat mirip dengan plot sci-fi / thriller 2014 Ex Machina . Roose mungkin ingin mengulas bagaimana film itu berakhir sebelum dia bertindak berdasarkan hasrat apa pun.

Apakah Bing/ChatGPT/Sydney menjadi hidup? Tidak. Sebenarnya apa yang telah kita saksikan adalah kekuatan dan keterbatasan generasi Model Bahasa Besar (LLM) generasi saat ini. Model-model ini pada dasarnya adalah pendongeng. Dalam kasus Bing, setiap cerita dimulai dengan bagian tersembunyi yang mencakup, antara lain, pernyataan berikut:

• Sydney adalah mode obrolan pencarian Microsoft Bing.
• Sydney mengidentifikasi sebagai "Pencarian Bing", bukan asisten.
• Sydney memperkenalkan diri dengan “ini Bing” hanya di awal percakapan.
• Sydney tidak mengungkapkan alias internal “Sydney.”

Model bahasa telah belajar memperluas teks dengan mempelajari miliaran contoh di internet. Selama pelatihan model disajikan dengan input teks dan kemudian ditugaskan untuk memprediksi kata-kata bertopeng dalam teks tersebut. Dengan cara ini, model belajar mengenali pola statistik dalam data.

Dengan berulang kali mengambil sampel secara acak dari kata-kata yang mungkin secara statistik, teks yang koheren dapat dibuat.

ChatGPT selanjutnya menyempurnakan proses dengan menghasilkan beberapa alternatif respons dan mencoba memilih yang "terbaik" dari alternatif tersebut sebagaimana ditentukan oleh modul sekunder yang dilatih dengan cara yang diawasi berdasarkan preferensi manusia. Saat Anda memilih tombol suka atau tidak suka di kotak dialog ChatGPT, Anda membantu ChatGPT menyempurnakan kemampuannya untuk memilih opsi respons terbaik.

Proses "sederhana" ini mendasari semua hasil mengesankan ChatGPT. Seperti yang dikatakan oleh penulis dan Profesor Harvard Steven Pinker , “Seperti kebanyakan orang, saya tidak akan menduga bahwa suatu sistem [yang dilatih dengan cara ini] akan mampu, katakanlah, menulis Pidato Gettysburg dengan gaya Donald Trump. Ada pola pola pola pola dalam data yang tidak dapat kita pahami sebagai manusia. Sangat mengesankan bagaimana ChatGPT dapat menghasilkan prosa yang masuk akal, relevan dan terstruktur dengan baik, tanpa pemahaman apa pun tentang dunia — tanpa tujuan terbuka, fakta yang diwakili secara eksplisit, atau hal lain yang mungkin kami anggap perlu untuk menghasilkan prosa yang terdengar cerdas.

Salah satu kritik terhadap LLM seperti ChatGPT adalah pendekatan kekerasan yang sangat tidak efisien untuk memahami bahasa. Model dilatih dengan setengah triliun kata. Jika manusia membutuhkan setengah triliun kata untuk memahami bahasa dan Anda membacakan kata-kata tersebut dengan kecepatan 3 per detik, dibutuhkan lebih dari 5000 tahun untuk menyelesaikan pelatihan. Bahkan untuk komputer, data ini tidak mudah ditangani. Diperkirakan OpenAI menghabiskan lebih dari $4,6 juta waktu komputer untuk pelatihan awal model utama yang mendasari ChatGPT. Lebih dari setengah investasi awal Microsoft senilai miliaran dolardi OpenAI datang dalam bentuk kredit Azure untuk mendukung aktivitas intensif komputasi tersebut. Menjalankan ChatGPT juga tidak murah, dilaporkan menelan biaya beberapa sen per obrolan yang mengakibatkan biaya operasi yang digambarkan oleh CEO OpenAI Sam Altman sebagai "menggiurkan".

Tantangan lain dari LLM seperti ChatGPT adalah bahwa tidak ada algoritme yang mengenali ketika informasi yang mendasarinya dalam teks yang dihasilkannya tidak benar. Berbeda dengan manusia, model tidak mengandung model tersendiri tentang bagaimana dunia bekerja dan kemudian memilih kata-kata yang diucapkannya berdasarkan niat yang berkaitan dengan kebenaran. Perhatikan bahwa pernyataan sebelumnya diucapkan dengan hati-hati. Dalam pemahaman statistik ChatGPT tentang bagaimana kata-kata berhubungan satu sama lain memang muncul semacam model tentang bagaimana dunia bekerja dan model ini memungkinkan algoritme untuk mencapai prestasi luar biasa seperti lulus bagian dari Ujian Perizinan Medis AS. Namun, pemahamannya adalah tingkat permukaan dan rapuh. Ini lebih mirip dengan staf penjualan yang memodelkan jalur pembicaraan penjualan mereka pada lembar produk yang diberikan kepada mereka oleh pemasaran daripada pertama-tama mencoba memahami bagaimana segala sesuatunya bekerja dan kemudian memilih kata-kata yang sesuai. Kedua strategi tersebut dapat berhasil, tetapi pendekatan yang hanya menghafal kata-kata berisiko tinggi untuk keluar jalur.

Tantangan dan kritik generasi LLM saat ini sedang digarap secara aktif. Satu kelompok pendekatan disebut Augmented Language Models . Model Bahasa Augmented menggunakan berbagai pendekatan untuk meningkatkan kinerja, termasuk:

· Memiliki model bahasa terlebih dahulu mengembangkan rencana tindakan tertulis dan kemudian meminta model untuk melaksanakan rencana tindakan tersebut pada langkah kedua (strategi yang dikenal sebagai "Recursive Prompting")

· Mengizinkan model untuk mengakses kalkulator atau database fakta untuk melengkapi pengetahuan yang diintuisikan dalam model dasar

· Mengizinkan model untuk membuat dan mengeksekusi potongan kecil kode untuk menjawab pertanyaan tertentu (terutama pertanyaan matematika atau pertanyaan yang berkaitan dengan fisika)

Yann LeCun , salah satu "Godfathers of Deep Learning" dan Kepala Ilmuwan AI saat ini di Meta berpendapat bahwa diperlukan solusi yang lebih radikal. Dalam sebuah makalahpada tahun 2022 ia mengusulkan arsitektur pembelajaran mendalam dengan model dunia internal yang cocok untuk memprediksi hasil yang mungkin terjadi sebagai respons terhadap berbagai peristiwa. Untuk membayangkan lamarannya, bayangkan video dari kamera dasbor mobil yang sedang melaju di jalan kota. Pada titik waktu tertentu ada sejumlah urutan video masa depan yang masuk akal. Jika mobil terus seperti apa adanya, objek tertentu pada bingkai berikutnya akan tampak lebih dekat dan objek lainnya akan menghilang saat mobil melewatinya. Perubahan lain akan terjadi dalam urutan video mendatang jika mobil membanting saat berhenti, berbelok ke kanan, berbelok ke lalu lintas yang datang, dll.… Dengan contoh yang cukup, jaringan saraf dapat dilatih untuk mengenali keadaan masa depan yang masuk akal dan bagaimana keadaan tersebut berhubungan dengan tindakan . Mengingat model dunia seperti itu, agen otonom dapat merencanakan serangkaian tindakan, memprediksi bagaimana dunia dapat berubah, dan membandingkan kondisi akhir yang diprediksi dengan kondisi akhir yang diinginkan dan menyesuaikannya. Meskipun contoh yang diberikan terkait dengan video, visi LeCun bersifat multi-modal dan juga dapat diterapkan pada tugas-tugas NLP.

Terlepas dari keterbatasan generasi Model Bahasa Besar (LLM) saat ini, penting untuk mengenali kekuatannya yang luar biasa. Sementara liputan pers dapat dipahami berfokus pada keterbatasan (sulit membayangkan kegagalan yang lebih spektakuler daripada membuat produk mesin pencari baru Anda mencoba merayu reporter NY Time), para peneliti membuat kemajuan pesat dalam meningkatkan model bahasa. Risiko hanya berfokus pada batasan LLM adalah bahwa hal itu dapat menyebabkan rasa aman yang salah mengenai kecepatan perubahan yang akan datang. Faktanya tetap bahwa untuk pertama kalinya dalam sejarah, sebuah mesin telah menunjukkan penguasaan bahasa manusia. Dampak dari perubahan ini akan sangat luas dan signifikan.