Siapakah DataScientist dan Insinyur ML?

Dec 28 2022
Mari hancurkan mitos dengan latar belakang yang berharga Dalam dunia memanfaatkan informasi dari data, mendapatkan nilai dari wawasan, dan meningkatkan pendapatan bisnis, Bisnis telah memahami nilai menangkap, menyimpan, dan mengubah data dapat benar-benar mengubah permainan. Ada lautan informasi seputar jalur karir bagi para insinyur atau non-insinyur untuk berkontribusi di bidang Kecerdasan Buatan dan perusahaan yang mempekerjakan bakat data.

Mari hancurkan mitos dengan latar belakang yang berharga

Dalam dunia memanfaatkan informasi dari data, memperoleh nilai dari wawasan, dan meningkatkan pendapatan bisnis, Bisnis telah memahami nilai menangkap, menyimpan, dan mengubah data dapat benar-benar mengubah permainan. Ada lautan informasi seputar jalur karir bagi para insinyur atau non-insinyur untuk berkontribusi di bidang Kecerdasan Buatan dan perusahaan yang mempekerjakan bakat data.

Sebelum kita masuk, mari kita pahami bagaimana siklus hidup AI pada umumnya seperti Gambar 1.a. Saya telah membuat daftar enam fase dalam siklus hidup. Orang-orang berpendapat bahwa, perlu ada fase terjemahan bisnis ke teknologi (alias pelingkupan proyek) di awal. Saya membuangnya, untuk fokus hanya pada aspek teknologi.

Gambar 1.a siklus hidup AI
  • Pengumpulan Data — Berfokus pada pengumpulan data, membuat lapisan yang dikurasi, dan menyimpannya untuk akses lebih lanjut
  • Eksplorasi Data — sangat dekat dengan Rekayasa Fitur
  • Pemodelan — Fase Eksperimen untuk menemukan Model Ilmu Data terbaik yang sesuai dengan kasus penggunaan.
  • Pengembangan — fase pra-produksi. Pada dasarnya mengubah eksperimen menjadi komponen yang berfungsi
  • Penerapan — Fase produksi. Melayani model DS yang Anda kembangkan dalam skala besar.
  • Pemantauan — Melacak kinerja model + fitur masukan.
  • Insinyur Data
  • Analis Data
  • Ilmuwan Data
  • Insinyur ML
Gambar 2.a Peran dan Tanggung Jawab

Sekarang, pembaca saya memiliki pemahaman dasar tentang blok bangunan sistem AI dan pandangan tingkat tinggi tentang harapan dari seorang individu (dari perspektif pekerjaan).

Mari kita batasi diskusi kita pada ilmuwan data dan definisi peran insinyur pembelajaran mesin.

Seperti yang dapat Anda lihat dari Gambar 2.a, insinyur ML dan Ilmuwan Data tumpang tindih pada fase pengembangan siklus hidup sistem AI. Sebagian besar perusahaan menjadikan fase ini sebagai tanggung jawab bersama di kedua tim ini. (DS & MLE).

Untuk setiap kasus penggunaan bisnis, cakupan dasar peran didefinisikan sebagai berikut:

Lingkup DS :

  • Seorang ilmuwan data akan berupaya menemukan kumpulan data yang tepat. Kemungkinan Tabel BigQuery .
  • Membuat studi literatur yang relevan.
  • Lakukan eksplorasi Data dan buat kueri sql yang dioptimalkan.
  • Tentukan fitur potensial.
  • Siapkan satu set pelatihan dan satu set tes.
  • Lakukan Eksperimen di berbagai model kandidat. Dapat menggunakan MLflow untuk pelacakan eksperimen.
  • Kembangkan prototipe pada notebook jupyter berbasis python.
  • Identifikasi metrik kinerja. Seperti Akurasi, skor F1… dll

Lingkup ML :

  • Ubah notebook jupyter menjadi modul python yang dapat dikirim.
  • Kemas modul-modul ini. Sebagian besar containerisasi gaya buruh pelabuhan .
  • Mengembangkan infrastruktur untuk dapat melatih model. Airflow , argo , Metaflow adalah opsi populer di sini.
  • Menerapkan model terlatih ini di seluruh wilayah dan dapat melayani lalu lintas. Solusi seperti Kubernet cocok di sini.
  • Memantau kinerja dalam produksi.

Pembaca yang mengincar peran DS/ML harus dapat memiliki gagasan dasar tentang semua langkah di atas (dan terbiasa dengan kata- kata Buzz ).

Untuk DS senang memiliki keterampilan MLE atau sebaliknya. Tapi ini murni opsional.

Ini adalah posting blog pertama saya, tolong luangkan waktu untuk memberikan komentar dan beri tahu saya apa yang bisa dibuat lebih baik. Kamu Menakjubkan !!!