Pentingnya Teknik Optimasi

Mar 10 2023

Foto oleh Zoran Borojevic di Unsplash

Dalam perjalanan saya mempelajari pembelajaran mesin dan teknik pembelajaran mendalam yang masih berlangsung, saya telah memahami pentingnya Teknik Optimasi. Saya hanya merasa sangat penting untuk mendokumentasikan ini untuk referensi saya sehingga akan menjadi pengingat rutin setiap kali saya melihatnya. Ini bukan hanya tentang melatih model atau mendapatkan hasil setelah Anda meneruskan kumpulan data ke model. Ini tentang penyelidikan dan pemahaman nuansa optimasi yang terjadi di latar belakang model untuk mendapatkan hasil terbaik.

Apakah itu model pembelajaran mesin atau jaringan saraf pembelajaran yang mendalam, keduanya harus mencapai atau menyatu dengan minimum global. Sekarang dimungkinkan untuk melakukan penyetelan hiper-parameter untuk menemukan hasil terbaik (kerugian rendah atau akurasi tinggi). Tetapi seni penyetelan hiper-parameter hanya dapat dilakukan dengan efisiensi maksimum jika teori pengoptimalan dipahami secara luas.

Secara umum, tujuan dari melakukan optimasi adalah untuk menemukan solusi terbaik yang mungkin untuk sekumpulan masalah yang diberikan bersama dengan kendala yang disediakan. Oleh karena itu, masalah optimisasi terdiri dari 3 komponen dasar — Fungsi Tujuan, Variabel, dan Kendala.

Fungsi Objektif — Fungsi yang harus dimaksimalkan atau diminimalkan tergantung pada pernyataan masalah dan aplikasi. Masalah yang hanya memiliki satu fungsi tujuan disebut masalah optimisasi tujuan tunggal . Masalah yang memiliki beberapa fungsi tujuan disebut masalah optimisasi multi-tujuan .
Variabel — Ini adalah nilai yang tidak diketahui yang mewakili Fungsi Objektif dan Kendala. Tujuan optimasi adalah menemukan nilai yang pas untuk variabel-variabel ini. Masalah yang hanya memiliki satu variabel disebut masalah optimisasi variabel tunggal . Masalah yang memiliki banyak variabel disebut masalah optimisasi multivariabel .
Kendala —Ini adalah batasan yang diberikan oleh pernyataan masalah dan diwakili oleh sekumpulan variabel. Solusi optimal harus diperoleh dalam batasan. Himpunan solusi yang dipenuhi oleh semua kendala dikenal sebagai solusi layak . Masalah yang memiliki kendala disebut masalah optimisasi terbatas . Masalah yang tidak memiliki kendala disebut masalah optimisasi tanpa kendala .

Untuk mempelajari lebih lanjut tentang jenis-jenis algoritma pengoptimalan dan berbagai metode berdasarkan masalah yang dicetak miring di atas, saya merujuk ke buku Optimalisasi untuk Desain Teknik oleh Kalyanmoy Deb. Ini memberi saya ide tentang bagaimana berpikir dari perspektif pengoptimalan. Saya telah memahami prosedur berbagai algoritma dan metode pengoptimalan dan mengimplementasikannya dalam python, yang dapat ditemukan di sini .

Merumuskan fungsi tujuan adalah salah satu aspek penting saat menangani masalah apa pun, bahkan bisa dari domain pembelajaran mesin atau pembelajaran mendalam. Fungsi tujuan ini juga bisa disebut sebagai fungsi biaya dan terkadang rumit untuk dikembangkan. Mengubah masalah yang diberikan menjadi masalah optimisasi juga penting untuk memahami dan menginterpretasikan masalah dari perspektif yang berbeda. Ini akan membantu kita dalam mencapai tujuan yang diinginkan secara sistematis dan juga memperoleh hasil terbaik.

Contoh: Merumuskan Masalah Optimasi

Mari kita lihat contoh merumuskan masalah pengoptimalan dalam domain pembelajaran mendalam. Aplikasi yang diambil di sini adalah kendaraan otonom.

Foto oleh Nathalia Segato di Unsplash

Salah satu tugas kendaraan otonom adalah mengendalikan kemudi. Oleh karena itu, sangat penting bagi kendaraan atau model deep learning untuk memprediksi sudut kemudi pada waktu tertentu.

Rumusan masalahnya adalah memprediksi sudut kemudi kendaraan otonom menggunakan teknik deep learning. Jadi, pada level tinggi, kami akan melatih model pembelajaran mendalam yang akan memprediksi sudut kemudi, dengan memberikan gambar input jalan.

Mari kita asumsikan ini sebagai masalah pengoptimalan. Di sini fungsi tujuan akan menjadi-

Fungsi objektif

Dimana Yi(cap) adalah sudut kemudi yang diprediksi oleh model deep learning dan Yi adalah sudut kemudi sebenarnya. Tujuannya adalah untuk meminimalkan kesalahan antara kedua nilai tersebut. Di sini kesalahannya dikenal sebagai kesalahan kuadrat rata-rata.

Variabel akan menjadi-

Yi(cap) dan Yi yang sudah disebutkan di atas.

Sekarang membentuk kendala akan tergantung pada jenis kendaraan yang digunakan. Itu juga tergantung pada apakah kita menggunakan simulator atau kendaraan nyata untuk mencapai tujuan kita. Dengan asumsi bahwa sudut kemudi dapat melakukan satu putaran penuh baik searah jarum jam maupun berlawanan arah jarum jam,

Kendala akan- _

Kendala

Dimana Yi adalah sudut kemudi sebenarnya dalam rentang yang diberikan di atas. Ini, bagaimanapun, akan tergantung pada jenis kendaraan yang digunakan dan juga akan bervariasi jika menggunakan simulator.

Oleh karena itu, kami telah merumuskan masalah pengoptimalan kami. Sekarang kita dapat mengetahui teknik pengoptimalan yang sesuai untuk mencapai hasil yang kita inginkan, yaitu meminimalkan kesalahan kita. Berbagai algoritma dapat digunakan, disini Gradient Descent akan menjadi algoritma optimasi yang cocok untuk meminimalisir error kita. Algoritma ini banyak digunakan dalam domain deep learning.

Kesimpulan

Pada artikel ini, pentingnya teknik optimasi dan contoh mengubah pernyataan masalah menjadi masalah optimasi telah dibahas. Anda dapat melihat implementasi saya dari algoritma pengoptimalan yang berbeda di sini . Jangan ragu untuk memberikan umpan balik dan komentar Anda sehingga saya dapat meningkatkan. Semoga Anda menikmati membaca yang ini sebanyak saya menulis ini.