Come utilizzare Vertex AI per Data Scientist

Quindi hai appena passato il fine settimana a leggere un documento di ricerca sbalorditivo e hai anche convinto il capo dei dati nel tuo team che puoi iniziare a implementarlo al più presto!

Per abitudine, accendi il tuo editor preferito e inizi a programmare, il modello è esattamente ciò di cui avevi bisogno con alcune modifiche per la carta. I tuoi test hanno funzionato e ora tutto ciò che devi fare è distribuire il modello per i dati del cliente con un piano per estrarre in qualche modo i tuoi dati nel tuo locale e massaggiarli fino a quando non possono essere inseriti nel modello e dovrebbe essere fatto bene? Purtroppo no.

Un consiglio dai 7 anni di esperienza ingegneristica che ho, per favore non fare cose sulla tua macchina locale e aspettarti che funzioni esattamente in produzione! (Questo vale anche per i data engineer)

Il cloud non è lo stesso del tuo locale, né lo è il server on-prem (passa al cloud per favore). È computazionalmente molto più potente e non usarlo dall'inizio del processo è un peccato tbh.

1. Usa il workbench Vertex AI

2. Usa Serverless Spark con Vertex AI

Se devi massaggiare i tuoi dati, sapevi che puoi facilmente scrivere lavori PySpark e inviare batch senza doversi preoccupare di configurare server ecc.

3. Usa BQML per semplificare i modelli AI con Vertex AI

Indipendentemente da quanto bene hai eseguito l'ottimizzazione dell'iperparametro, se l'interrogazione del set di dati stesso richiede minuti o (accidenti ore?) Saresti l'unica ragione per i mal di testa del team di ingegneri. BigQuery non solo esegue le tue query alla velocità della luce che potresti già conoscere, ma ora puoi scrivere i tuoi modelli ML all'interno di BigQuery proprio come hai scritto le stored procedure come DBA! Vedere quanto segue per come fare proprio questo.

Ora tutti i miei amici data scientist, non preoccupatevi anche se il vostro ingegnere di dati o esperto di cloud parte per una vacanza: il cloud non è un posto spaventoso, c'è molta scienza dei dati che potete fare al suo interno e distribuirla anche con il minimo sforzo. Puoi persino distribuire il modello che hai creato su BQML tramite Model Registry in Vertex AI direttamente sull'endpoint di tua scelta. Automatizza tutto con Vertex Pipelines!

Buona programmazione!