DataScientists และ ML Engineers คือใคร

มาทำลายตำนานด้วยภูมิหลังอันทรงคุณค่า

ในโลกของการควบคุมข้อมูลจากข้อมูล การรับคุณค่าจากข้อมูลเชิงลึกและการเพิ่มรายได้ของธุรกิจ ธุรกิจต่าง ๆ ได้เข้าใจถึงคุณค่าของการจับภาพ จัดเก็บ และแปลงข้อมูลที่สามารถเป็นตัวเปลี่ยนเกมได้อย่างแท้จริง มีมหาสมุทรของข้อมูลที่หมุนเวียนอยู่ในเส้นทางอาชีพสำหรับวิศวกรหรือผู้ที่ไม่ใช่วิศวกร เพื่อมีส่วนร่วมในสาขานี้ให้กับปัญญาประดิษฐ์และบริษัทที่จ้างผู้มีความสามารถพิเศษด้านข้อมูล

ก่อนที่เราจะเข้าเรื่อง มาทำความเข้าใจกันก่อนว่าวงจรชีวิต AI โดยทั่วไปมีลักษณะอย่างไร รูปที่ 1.a ฉันได้ระบุหกขั้นตอนในวงจรชีวิต ผู้คนโต้แย้งว่าจำเป็นต้องมีช่วงการแปลธุรกิจสู่เทคโนโลยี (หรือที่เรียกว่าการกำหนดขอบเขตโครงการ) ในตอนเริ่มต้น ฉันโยนมันออกไปเพื่อมุ่งเน้นไปที่ด้านเทคโนโลยีเท่านั้น

• การรวบรวมข้อมูล — มุ่งเน้นไปที่การรวบรวมข้อมูล สร้างเลเยอร์ที่ดูแลจัดการ และจัดเก็บเพื่อการเข้าถึงเพิ่มเติม
• การสำรวจข้อมูล — ใกล้เคียงกับ Feature Engineering
• การ สร้างแบบจำลอง — ขั้นตอนการทดลองเพื่อค้นหาแบบจำลองวิทยาศาสตร์ข้อมูลที่ดีที่สุดที่เหมาะกับกรณีการใช้งาน
• การพัฒนา — ขั้นตอนก่อนการผลิต โดยพื้นฐานแล้วการแปลงการทดสอบเป็นส่วนประกอบที่ใช้งานได้
• การ ปรับใช้ — ขั้นตอนการผลิต ให้บริการโมเดล DS ที่พัฒนาขึ้นตามขนาด
• Monitoring — คอยติดตามประสิทธิภาพของโมเดล + คุณสมบัติการป้อนข้อมูล

• วิศวกรข้อมูล
• นักวิเคราะห์ข้อมูล
• นักวิทยาศาสตร์ข้อมูล
• ML วิศวกร

ตอนนี้ ผู้อ่านของฉันมีความเข้าใจพื้นฐานเกี่ยวกับองค์ประกอบพื้นฐานของระบบ AI และมุมมองระดับสูงของความคาดหวังจากแต่ละบุคคล (จากมุมมองของงาน)

เรามาจำกัดการสนทนาของเราไว้ที่นักวิทยาศาสตร์ข้อมูลและคำจำกัดความบทบาทของวิศวกรการเรียนรู้ของเครื่อง

ดังที่คุณเห็นจากรูปที่ 2.a วิศวกร ML และนักวิทยาศาสตร์ข้อมูลทับซ้อนกันที่ขั้นตอนการพัฒนาของวงจรชีวิตระบบ AI บริษัทส่วนใหญ่ถือว่าขั้นตอนนี้เป็นความรับผิดชอบร่วมกันของทั้งสองทีม (สพม.&พม.).

สำหรับกรณีการใช้งานทางธุรกิจ ขอบเขตพื้นฐานของบทบาทถูกกำหนดดังนี้:

ขอบเขต DS :

• นักวิทยาศาสตร์ข้อมูลจะใช้ความพยายามในการค้นหาชุดข้อมูลที่ถูกต้อง อาจเป็นตารางBigQuery
• ทำการศึกษาวรรณกรรมที่เกี่ยวข้อง
• ทำการสำรวจข้อมูลและสร้างคิวรี sql ที่ปรับให้เหมาะสม
• กำหนดคุณสมบัติที่เป็นไปได้
• เตรียมชุดฝึกและชุดทดสอบ
• ทำการทดลองในรุ่นต่างๆ ของผู้สมัคร สามารถใช้MLflowสำหรับการติดตามการทดสอบ
• พัฒนาต้นแบบบนโน้ตบุ๊กjupyter ที่ใช้ python
• ระบุเมตริกประสิทธิภาพ เช่น ความแม่นยำ คะแนน F1…เป็นต้น

ขอบเขต ML :

• แปลงโน้ตบุ๊ก jupyter เป็นโมดูล python ที่จัดส่งได้
• บรรจุโมดูลเหล่านี้ ส่วนใหญ่เป็นรูปแบบคอนเทนเนอร์ของนักเทียบท่า
• พัฒนาโครงสร้างพื้นฐานให้สามารถฝึกโมเดลได้ Airflow , argo , Metaflowเป็นตัวเลือกยอดนิยมที่นี่
• ปรับใช้โมเดลที่ได้รับการฝึกอบรมเหล่านี้ทั่วทั้งภูมิภาคและสามารถรองรับการรับส่งข้อมูลได้ Kubernetesชอบโซลูชันที่เหมาะกับที่นี่
• ตรวจสอบประสิทธิภาพในการผลิต

ผู้อ่านที่มองหาบทบาทของ DS/ML ควรจะมีแนวคิดพื้นฐานเกี่ยวกับขั้นตอนข้างต้นทั้งหมด (และคุ้นเคยกับBuzz words )

สำหรับ DS เป็นเรื่องดีที่มีทักษะของ MLE หรือในทางกลับกัน แต่นี่เป็นทางเลือกเท่านั้น

นี่เป็นบล็อกโพสต์แรกของฉัน โปรดสละเวลาแสดงความคิดเห็นและแจ้งให้เราทราบว่าอะไรจะทำให้ดีขึ้น คุณสุดยอด!!!