DataScientists ve ML Mühendisleri kimlerdir?

Değerli bir geçmişe sahip mitleri yıkalım

Verilerden bilgi elde etme, içgörülerden değer elde etme ve işletme gelirlerini artırma dünyasında İşletmeler, verileri yakalamanın, depolamanın ve dönüştürmenin gerçekten oyunun kurallarını değiştirebileceğini anladılar. Yapay Zeka alanına ve veri yeteneğini işe alan şirketlere katkıda bulunmak için mühendisler veya mühendis olmayan herkes için kariyer yolları etrafında dönen bir bilgi okyanusu var.

Atlamadan önce, tipik bir AI yaşam döngüsünün Şekil 1.a'ya nasıl benzediğini anlayalım. Yaşam döngüsündeki altı aşamayı listeledim. İnsanlar, başlangıçta işletmeden teknolojiye çeviri aşamasının (proje kapsamı belirleme olarak da bilinir) olması gerektiğini savunuyorlar. Yalnızca teknik yönüne odaklanmak için bunu atıyorum.

• Veri Toplama — Veri toplamaya, seçilmiş katmanlar oluşturmaya ve bunları daha fazla erişim için depolamaya odaklanır
• Veri Keşfi — Özellik Mühendisliğine çok yakın
• Modelleme — Kullanım durumuna uyan en iyi Veri Bilimi Modellerini bulmak için bir Deney aşaması.
• Geliştirme — üretim öncesi bir aşama. Temel olarak bir deneyi çalışan bir bileşene dönüştürmek
• Dağıtım — Üretim aşaması. Geliştirdiğiniz DS modelinizi geniş ölçekte sunma.
• İzleme — Modellerin + giriş özelliklerinin performanslarını takip etme.

• Veri Mühendisleri
• Veri Analistleri
• Veri Bilimcileri
• makine öğrenimi mühendisleri

Şimdi, okuyucumun bir AI sisteminin yapı taşları hakkında temel bir anlayışa ve bir bireyden (iş açısından) beklentilere ilişkin yüksek düzeyde bir görüşe sahip olduğuna göre.

Tartışmamızı veri bilimcileri ve makine öğrenimi mühendisi rol tanımlarıyla sınırlayalım.

Şekil 2.a'da görebileceğiniz gibi, makine öğrenimi mühendisleri ve Veri Bilimcileri, yapay zeka sistem yaşam döngüsünün geliştirme aşamasında örtüşüyor. Şirketlerin çoğu bu aşamayı bu iki ekip arasında paylaşılan bir sorumluluk olarak tutar. (DS ve MLE).

Herhangi bir ticari kullanım durumu için, rollerin temel kapsamı şu şekilde tanımlanır:

DS Kapsamı :

• Bir Veri bilimcisi, doğru veri setlerini bulmak için çaba sarf ederdi. Potansiyel olarak bir BigQuery Tablosu.
• İlgili literatür çalışmasını yapar.
• Veri keşfi gerçekleştirin ve optimize edilmiş bir sql sorgusu bulun.
• Potansiyel özellikleri tanımlayın.
• Bir eğitim seti ve bir test seti hazırlayın.
• Çeşitli aday modellerde Deneyler gerçekleştirin. Deneme takibi için MLflow kullanılabilir .
• Python tabanlı jüpyter not defterleri üzerinde bir prototip geliştirin.
• Performans metriklerini tanımlayın. Doğruluk, F1 puanı gibi…vb.

Makine Öğrenimi Kapsamı :

• jupyter not defterini gönderilebilir python modüllerine dönüştürün.
• Bu modülleri konteynerize edin. Çoğunlukla liman işçisi tarzı bir konteynerleştirme.
• Modelleri eğitebilmek için altyapı geliştirin. Airflow , argo , Metaflow burada popüler seçeneklerdir.
• Bu eğitilmiş modelleri bölgelere dağıtın ve trafiğe hizmet edebileceksiniz. Kubernetes benzeri çözüm buraya uyuyor.
• Üretimdeki performansları izleyin.

DS/ML rollerini gözleyen okuyucular, yukarıdaki adımların tümü hakkında temel bir fikre sahip olmalıdır (ve Buzz kelimelerine aşina olmalıdır ).

DS için bir MLE veya tam tersi becerilere sahip olmak güzel. Ancak bu tamamen isteğe bağlıdır.

Bu benim ilk blog yazım, lütfen yorum yazmak için zaman ayırın ve nelerin daha iyi yapılabileceğini bana bildirin. Müthişsin !!!