Il playbook del machine learning per i data engineer

Nel 2016 ero un ingegnere del software presso una delle migliori società commerciali e faticavo a entrare nell'apprendimento automatico. Di recente avevo conseguito un master in ML presso una prestigiosa università, ma stavo scoprendo che il contenuto che avevo appreso dalla mia laurea non era sufficiente per superare un colloquio di ingegneria ML. Mi trovavo di fronte a due opzioni: abbandonare i miei sogni ML e rimanere nel mio comodo ruolo di ingegnere dei dati, oppure perseverare e irrompere nel settore ML attraverso la pura forza di volontà. Ho scelto quest'ultimo e cinque anni dopo ero un ingegnere ML del personale senior, a capo del team ML presso un'azienda tecnologica quotata in borsa. Ecco come l'ho fatto.

Pubblico previsto

Questo corso è rivolto a ingegneri esperti di infrastrutture e dati che desiderano entrare nell'apprendimento automatico. Il lettore ideale dovrebbe aver già seguito alcuni corsi ML (il mio suggerimento: i primi due corsi di Andrew Ng), ma sta lottando per orientarsi verso una carriera come ingegnere ML.

Sebbene esistano molti altri corsi di "Introduzione all'apprendimento automatico" e siano un prerequisito necessario, non ti insegnano a sufficienza le competenze necessarie per diventare un ingegnere ML. Un detto comune tra i professionisti del machine learning è che "l'80% del lavoro consiste nel data wrangling". Tuttavia, non esiste alcun playbook per insegnare agli ingegneri che sono già esperti in questo 80% le competenze necessarie per essere efficaci nel restante 20%... fino ad ora.

Programma

Proprio come il materiale che impari in un corso di informatica è solo tangenzialmente correlato ai compiti che affronti come ingegnere del software, il materiale che impari durante un corso di "Introduzione all'apprendimento automatico" è solo tangenzialmente correlato alla maggior parte del lavoro che svolgi come un ingegnere ML. Questo perché altri corsi ML adottano un approccio in ampiezza e insegnano una varietà di algoritmi diversi (a partire da modelli lineari, passando a metodi basati su alberi e terminando con reti neurali), senza mai insegnare tutti i passaggi necessari per implementare con successo qualsiasi modello alla produzione. In questo corso rimarremo invece indipendenti dal modello e seguiremo i passaggi per distribuire qualsiasi modello. E per tutto il tempo, fornirò suggerimenti su come utilizzare questo contenuto per superare la tua prossima intervista ML.

• Capitolo 1, Creazione di una pipeline : inizia in modo semplice, determina le metriche e itera
• Capitolo 2, Crea un set di dati: pulisci, trasforma, convalida e archivia i dati (rilasciato il 28/2)
• Capitolo 3, Addestramento del modello: velocizzare l'addestramento e calibrare i risultati (rilasciato il 3/7)
• Capitolo 4, Valutazione offline: garantire la qualità del modello prima del rilascio in produzione (rilasciato il 14/3)
• Capitolo 5, Inferenza del modello: architetture batch e in tempo reale per la pubblicazione dei risultati (rilasciato il 21 marzo)
• Capitolo 6, Monitoraggio del modello: rilevare e risolvere i problemi non appena si verificano (rilasciato il 28/3)
• Capitolo 7, Ace the Interview: domande e insidie ​​comuni durante le interviste ML (rilasciato il 4/4)