Jaringan saraf untuk semua

Butuh pameran sains kelas 6 bagi saya untuk melatih jaringan saraf pertama saya dalam waktu yang lama. Keluarga saya tinggal di petak pedesaan California Utara yang dipenuhi pohon ek, kayu merah, dan flora asli lainnya. Untuk pameran sains yang akan datang, putra saya memutuskan untuk membuat model pembelajaran mesin untuk mengidentifikasi pohon lokal. Kami mendaki pada Sabtu sore untuk mengambil gambar dan membuat kumpulan data, sedangkan pada Sabtu malam kami mengerjakan model jaringan saraf. Pameran sains dalam dua bulan dan saya pikir kita akan membutuhkan waktu itu untuk membangun model yang layak. Ternyata, saya sangat meremehkan betapa mudah dan dapat diaksesnya pembelajaran mesin. Versi 1 selesai hanya dalam beberapa jam dengan akurasi yang mengejutkan. Kami menggunakan mesin AI yang sama kuatnya dengan banyak laboratorium penelitian AI terkemuka. Kami melakukan semuanya di browser dan gratis.

Saya pertama kali menemukan jaringan saraf dalam kursus perguruan tinggi tentang AI selama apa yang disebut musim dingin AI di akhir tahun 90-an. Ini adalah tingkat antusiasme AI yang rendah pada umumnya, dan jaringan saraf pada khususnya. Terlepas dari kemajuan teoretis di tahun 80-an, penerapan komersial terbatas dan relatif sedikit laboratorium penelitian yang berfokus pada jaringan saraf. Tetap saja, saya tertarik dengan pendekatan biologis terhadap AI dan saya bereksperimen dengan pendekatan dan aplikasi pelatihan yang berbeda. Saya membuat model jaringan saraf dan mengkodekan algoritme pelatihan sebagian besar dari awal di lispbahasa pemrograman. Pelatihan bisa memakan waktu berjam-jam dan tidak banyak data pelatihan yang tersedia. Untuk beberapa waktu, saya bergabung dengan lab AI di UC San Diego untuk menjelajahi jaringan saraf lebih jauh, tetapi akhirnya saya pindah. Butuh 15 tahun lagi sebelum jaringan saraf benar-benar lepas landas dan istilah " pembelajaran mendalam " mulai digunakan secara luas.

Selama sekitar satu dekade terakhir, jaringan saraf telah memasuki kebangkitan baru yang ditenagai oleh GPU, komputasi awan, kumpulan data masif, dan kemajuan berkelanjutan dalam algoritme pembelajaran. Aplikasi komersial telah meledak. Aplikasi termasuk pengenalan ucapan (Siri, Alexa), terjemahan (Google Translate), pembuatan teks (OpenAI's GPT-3), pengenalan gambar (Tesla Autopilot, Adobe Sensei), pembuatan gambar (Dall-E 2, Midjourney, Stable Diffusion), wajah pengenalan (Apple Photos), pembuatan video (Runway), dan penemuan obat. Beberapa aplikasi baru yang paling mengesankan ada di AI generatif , yang berkembang dengan kecepatan yang mencengangkan.

Maju cepat ke akhir pekan syukur yang lalu, yang memicu beberapa pengamatan.

Pertama, sangat mudah untuk menyiapkan dan melatih model pembelajaran mesin yang cukup canggih sekalipun. Anda tidak perlu membuat kode atau memiliki latar belakang pembelajaran mesin. Ada banyak alat machine learning tanpa kode dan AutoML yang mengotomatiskan langkah-langkah umum dalam alur kerja machine learning. Untuk menyatukan alur kerja Anda sendiri, ada baiknya memiliki pengetahuan dasar tentang python, bahasa populer di komunitas pembelajaran mesin. Putra saya yang berusia 12 tahun telah belajar python selama sekitar dua tahun. Atas inisiatifnya sendiri, dia mengunduh TensorFlow — pustaka pembelajaran mesin yang mendukung Google dan OpenAI — dan dengan cepat menjalankan model sampel di laptopnya. Bahkan lebih mudah dari itu, saya menemukan tutorialpada klasifikasi gambar yang menggunakan TensorFlow dan berjalan di lingkungan Colab Google. Colab memungkinkan Anda membuat model machine learning di browser web dan menjalankannya di GPU Google secara gratis, tanpa mendownload atau menginstal paket apa pun. Ada banyak sekali tutorial dan model terlatih untuk memulai.

Kedua, faktor pembatas laju penerapan teknologi ini adalah imajinasi untuk aplikasi dunia nyata baru dan data berkualitas untuk melatih model. Masalah pengenalan jenis pohon berdasarkan citra termasuk dalam domain klasifikasi citra. Karena ini adalah aplikasi umum pembelajaran mesin, langkah yang paling menantang adalah menyusun kumpulan data yang kuat. Kami tidak dapat menemukan kumpulan data yang tersedia dari pohon lokal yang diberi label dengan nama, jadi kami membuatnya sendiri. Pendakian singkat dengan iphone menghasilkan sekitar 250 gambar. Ini kecil menurut standar sekarang. Model Difusi Stabil terbaru dilatih menggunakan set data LAION-5B yang baru dirilis dari 5,85 miliar gambar dari web. Semakin banyak kumpulan data yang dipublikasikan, hambatan untuk mengembangkan model tujuan khusus akan berkurang.

Ketiga, sekarang ada banyak sekali solusi dan sumber daya untuk memasukkan model pembelajaran mesin ke dalam produksi (ML Ops). Beberapa tahun yang lalu, melatih model dan menerapkannya dengan kecepatan dan skala web merupakan tantangan. Saat ini, menerapkan model di browser, di ponsel, di server, atau dalam alur kerja Enterprise relatif mudah.

Kami telah memasuki zaman keemasan untuk jaringan saraf. Ini adalah waktu yang sangat menyenangkan untuk menjadi peneliti AI/deep learning, pengusaha AI, atau mahasiswa yang tertarik dengan AI. Ada aplikasi matang yang siap sekarang, dan saluran penelitian AI baru yang akan mendukung aplikasi inovatif untuk tahun-tahun mendatang. Aksesibilitas teknologi berarti Anda tidak memerlukan laboratorium penelitian atau modal untuk ikut serta. Sungguh menakjubkan bagaimana sebuah konsep bisa ada selama beberapa dekade (misalnya, mobil listrik, jaringan saraf) tetapi tidak lepas landas sampai kondisinya tepat.