Di blog ini, saya akan mengulas proses penggunaan Reinforcement Learning (RL) untuk membuat dan meningkatkan model bahasa besar seperti ChatGPT. Saya kemudian akan menunjukkan bagaimana OpenAI dan Microsoft dapat menggunakan RL untuk mencegah pesaing bersaing dengan mereka di pasar AI generatif. Saya kemudian akan menyarankan strategi untuk startup baru untuk menyerang benteng. Pertama, mari kita tinjau apa yang dimaksud dengan "parit" yang mencegah penyerang mencapai kastil ChatGPT.

Latar Belakang Model Lima Kekuatan Porter

Pada tahun 1979 Michael Porter menerbitkan makalah mani pada menganalisis sifat kompetitif industri. Kami sekarang menyebut proses ini sebagai Analisis Lima Kekuatan Porter . Kita dapat menggunakan diagram di bawah ini untuk memvisualisasikan serangkaian titik tekanan di pasar mana pun.

OpenAI membebankan biaya $20/bulan untuk akses premium ke ChatGPT. Ada juga versi gratis dengan lebih dari 100 juta pengguna . OpenAI menggunakan pengguna ini sebagai metode untuk mendapatkan umpan balik dan membuat model mereka lebih baik.

Saat kami melihat ChatGPT secara objektif, sebenarnya tidak ada alat lain yang tersedia untuk umum yang mendekati kemampuannya. Meskipun antarmuka penggunanya primitif, kualitas teks yang dihasilkan sangat memukau dibandingkan dengan para pesaingnya. Ini adalah satu-satunya model yang umum dan memiliki begitu banyak kegunaan yang berbeda .

Jadi saat ini, kami hanya dapat menempatkan OpenAI di lingkaran AI generatif di atas. Tapi ini akan berubah, dan kami akan mengerti mengapa Microsoft menginvestasikan $10B di OpenAI.

Untuk analisis ini, kami akan mengabaikan Daya Tawar Pembeli karena tidak ada persaingan. Daya Tawar Pemasok adalah perangkat keras GPU NIVIDA dalam Microsoft Azure dan pengembang perangkat lunak dalam OpenAI. Ini tidak dapat diabaikan dalam jangka panjang, tetapi untuk saat ini, ada cukup uang untuk membeli perangkat keras dan membayar pengembang OpenAI. Itu menyisakan satu kekuatan yang perlu kita pertimbangkan: Ancaman Pendatang Baru. Ada Ancaman Pengganti ChatGPT, seperti menggunakan mesin pencari atau membaca buku untuk mencari informasi. Tidak satu pun dari opsi ini yang menarik.

Ancaman Pendatang Baru

Melihat diagram di atas, gaya teratas disebut Ancaman Pendatang Baru . Ini terdiri dari perusahaan teknologi besar lainnya yang sudah sangat terlibat dalam bidang model bahasa besar. Ini termasuk:

1. Google — yang memiliki pengetahuan tentang pencarian dan umpan balik untuk membuat model baru
2. Amazon — memiliki tim besar yang terdiri dari orang-orang yang mengerjakan pembelajaran mesin untuk mempromosikan layanan cloud mereka untuk melatih model bahasa besar
3. Meta — tempat Facebook mengumpulkan sekitar 50 ribu fakta tentang pengguna yang dapat digunakan untuk membuat prediksi mendetail tentang iklan apa yang mungkin mereka klik
4. HuggingFace — memudahkan pengembang untuk mengakses model 100K dan menyempurnakannya menggunakan aplikasi Spaces yang cepat dan mudah.

OpenAI memiliki keunggulan yang cukup besar. OpenAI pertama kali menerbitkan makalah GPT pada 11 Juni 2018 . Itu ditindaklanjuti pada 14 Februari 2019 , dengan GPT-2, yang memiliki 1,5 miliar parameter. Ini diikuti oleh terobosan GPT-3 pada 11 Juni 2020, yang melonjak hingga 175 miliar parameter. Hasil ini mengesankan karena kualitas teks yang dihasilkan GPT-3 luar biasa. Tapi OpenAI tidak melambat. Mereka menambahkan model yang menyempurnakan model GPT-3 dasar dengan deteksi maksud instruksional yang lebih baik dan juga mengintegrasikan model lain yang dilatih pada perangkat lunak yang disebut Codex.

Setiap kali pengguna memberikan jempol atau jempol ke bawah, ada lebih banyak data untuk model OpenAI untuk ditingkatkan. Setelah semua pekerjaan ini, mereka menerapkan lapisan perangkat lunak lain yang disebut Reinforcement Learning with Human Feedback atau RLHF. RLHF masih digunakan hari ini untuk 100 juta pengguna tersebut.

Tiga Hambatan Masuk untuk Asisten Kognitif

Berikut adalah tiga faktor utama yang mencegah pendatang baru bergabung dalam keributan penyelesaian melawan ChatGPT.

1. Bakat AI — Apakah Anda memiliki staf yang sangat menghargai NLP dan model bahasa besar? Apakah mereka memiliki pemahaman yang kuat tentang representasi pengetahuan dari data organisasi Anda? Bisakah organisasi Anda mempekerjakan dan mempertahankan bakat ini dalam industri yang sedang panas-panasnya?
2. Biaya Perangkat Keras Pelatihan — Apakah organisasi Anda memiliki akses ke ribuan GPU/TPU/IPU atau HBU untuk melatih dan menyempurnakan model berbahasa besar?
3. Umpan Balik — Apakah Anda memiliki ratusan ribu pengguna yang bersedia memberi Anda umpan balik? OpenAI memiliki lebih dari 100 juta pengguna saat ini, dan jumlah ini diperkirakan akan terus bertambah saat mereka menyempurnakan model mereka dengan umpan balik ini.

Terapkan Beberapa Pemikiran Sistem

Ketika kami menerapkan prinsip-prinsip Pemikiran Sistem untuk masalah ini, kami melihat Causal Loop Diagram (CLD) dengan siklus penguatan positif. Ini terlihat seperti berikut ini:

CLD kecil ini dapat dijelaskan dengan menggambarkan hubungan:

1. Data ke Model — kami menggunakan data untuk membangun mode pembelajaran mesin.
2. Model ke Prediksi — kami menggunakan model pembelajaran mesin untuk membuat prediksi tentang masa depan berdasarkan pengetahuan sebelumnya..
3. Prediksi Mengaktifkan Umpan Balik — setelah kami dapat membuat prediksi yang cukup baik, manusia akan memberi kami umpan balik.
4. Umpan balik adalah Data — kami dapat menggunakan umpan balik sebagai data baru untuk menyempurnakan model kami.

Anda dapat mengetahui lebih lanjut tentang peran Pemikiran Sistem dari blog di The God Graph dan Pemikiran Sistem untuk Manajemen Pengetahuan .

Roda Gila AI Dengan Umpan Balik Manusia

Gambar di atas adalah “AI Flywheel” klasik yang menjelaskan cara organisasi mengumpulkan data, membuat model prediksi, membuat prediksi, dan menggunakan umpan balik manusia untuk mengumpulkan lebih banyak data guna membuat prediksi yang lebih baik. Saya menggunakan model ini di hampir setiap kursus KR dan AI yang saya ajarkan karena ini merupakan dasar untuk memahami bagaimana perusahaan akan menggunakan umpan balik untuk membuat asisten kognitif baru.

Saya telah memodifikasi loop 4-komponen tradisional yang disederhanakan (data, model, prediksi, umpan balik) untuk menyertakan beberapa detail lainnya. Ada dua fitur penting dari diagram yang ingin kita fokuskan.

Pertama, kami ingin memastikan semua orang memahami bahwa masukan bersifat kontekstual. Anda tidak hanya ingin mengetahui bahwa umpan balik datang dari manusia, tetapi Anda ingin mengetahui konteks orang tersebut di lingkungannya. Jika ini umpan balik untuk saran pengkodean, Anda ingin tahu apakah ini pengembang senior atau junior. Jika itu adalah umpan balik pada surat yang dihasilkan, Anda ingin tahu apakah pembaca adalah ahli materi pelajaran atau pemula. Konteks adalah segalanya, jadi jika Anda tidak menggunakan grafik pengetahuan, Anda membuang sebagian besar informasi Anda tentang manusia yang memberi Anda umpan balik.

Yang kedua adalah memahami bahwa Anda tidak akan mengumpulkan informasi dari manusia kecuali Anda memberikan nilai kepada mereka. Artinya, jika setidaknya 1/3 dari saran Anda tidak benar, pengguna akan menonaktifkan saran Anda. Mereka lebih menyebalkan daripada yang berharga. Inilah mengapa jika model prediktif Anda tidak mencapai batas 1/3, Anda mungkin perlu membayar pengguna untuk memberi masukan. Inilah yang harus dilakukan oleh perusahaan seperti OpenAI sebelum peluncuran produk mereka. Begitu orang mulai menggunakannya (gratis), aliran umpan balik mulai mengalir masuk. Dan dengan setiap klik, parit di sekitar ChatGPT semakin lebar.

Kesimpulan

Singkatnya, pembelajaran umpan balik dan penguatan menyebabkan efek jaringan yang akan terus bersaing dari pasar umum yang digerakkan oleh ChatGPT untuk asisten kognitif umum. Jika Anda adalah perusahaan kecil, Anda mungkin tidak memiliki sumber daya untuk bersaing di bidang ini. Itu masih menyisakan banyak peluang bagi perusahaan kecil untuk membangun asisten kognitif yang bekerja pada disiplin sempit dengan akses ke data khusus dan sukarelawan untuk membantu mereka menyempurnakan prediksi mereka. Terakhir, startup kecil harus mempertimbangkan sistem lisensi seperti model davinci GPT-3 OpenAI dan mengintegrasikannya ke dalam produk.