La scienza dei dati è diventata famosa qualche anno fa quando un giornale l'ha definita “il lavoro più sexy del 21° secolo”. Il grande colpo di testa è stato solo l'inizio di un effetto valanga. Oggi, la scienza dei dati è un campo che offre più di 20.000 posti di lavoro, secondo Glassdoor . Tuttavia, è spesso un argomento che causa confusione e molti dibattiti. In questo articolo, risponderò alla domanda: "Cos'è davvero la scienza dei dati?"

Cos'è la scienza dei dati?

Secondo Wikipedia, la scienza dei dati lo è

“un campo accademico interdisciplinare che utilizza statistiche , calcolo scientifico , metodi scientifici , processi, algoritmi e sistemi per estrarre o estrapolare conoscenza e intuizioni da dati rumorosi, strutturati e non strutturati . “ ( fonte )

Quando lo analizzi in modo più dettagliato, la scienza dei dati è una combinazione di matematica e statistica, informatica specializzata e business. Collega questi tre argomenti e aiuta le aziende a ottenere informazioni significative utilizzando i dati esistenti. La scienza dei dati combina principi e pratiche di queste tre discipline, al fine di analizzare spesso grandi quantità di dati e rispondere a domande che iniziano con "cosa", "come", "perché" e "cosa si può fare". Alcuni esempi di domande a cui i data scientist aiutano a trovare le risposte sono:

• Perché il livello di emissioni di una città sta crescendo?
• Quali operazioni contribuiscono maggiormente alla spesa di un'azienda?
• Quanto dura il nostro processo di assunzione e quali sono le finestre in cui potrebbe essere migliorato?

La scienza dei dati è importante perché aiuta le aziende a prendere decisioni informate e ad allontanarsi dal prendere decisioni basate sull'istinto. Combina strumenti, metodi e tecnologia per dare significato ai dati raccolti e affrontare le sfide che le varie industrie hanno.

Come disciplina, la scienza dei dati è importante per qualsiasi settore, dalle telecomunicazioni alla vendita al dettaglio, dal settore pubblico ai servizi finanziari. L'unica condizione che qualsiasi organizzazione deve ottenere per ottenere vantaggi dalla scienza dei dati è disporre di dati raccolti che possano essere utilizzati per guidare cambiamenti informati.

Miti sulla scienza dei dati

Come per qualsiasi altro nuovo argomento, la scienza dei dati ha beneficiato di molta attenzione. Allo stesso tempo, negli ultimi 15 anni, ha generato molti dibattiti ed è rimasto un argomento confuso per molti professionisti che non sono direttamente coinvolti nell'argomento.

La scienza dei dati non è statistica

C'è una sovrapposizione tra le due discipline, ma sono ben lungi dall'essere le stesse. Molte definizioni della statistica si applicano anche alla scienza dei dati, ma se si guarda più da vicino, ci sono una serie di fattori chiave che differenziano la scienza dei dati dalla statistica.

La statistica è una disciplina utilizzata per descrivere i dati. È una branca della matematica che svolge un ruolo importante quando si tratta di identificare modelli nei dati. La scienza dei dati, d'altra parte, utilizza l'analisi statistica, con l'obiettivo di trovare informazioni utilizzabili. La sua natura è profondamente predittiva, andando oltre l'obiettivo principale della statistica, che è quello di spiegare . La scienza dei dati risponde a domande come "Quali sono le risorse che saranno maggiormente necessarie nel prossimo futuro?" o "Quali paesi beneficeranno di una popolazione in crescita?".

Gli obiettivi delle due discipline sono diversi. La scienza dei dati cerca di identificare tendenze e modelli nei dati per il processo decisionale e la statistica si concentra sulla determinazione delle relazioni causa-effetto nei dati analizzati. I dati sono il cuore di entrambe le attività, ma mentre la scienza dei dati può gestire qualsiasi volume e tipo di dati, la statistica è limitata a campioni più piccoli.

I dati poiché non sono AI

A causa della sovrapposizione tra i due argomenti, la scienza dei dati è considerata una branca dell'intelligenza artificiale. Tornando all'obiettivo principale della scienza dei dati, ovvero identificare tendenze e modelli nei dati per supportare il processo decisionale, l'intelligenza artificiale (AI) fornisce software in grado di ragionare sull'input e spiegare l'output. Entrambi sono abbastanza avanzati da lavorare su qualsiasi tipo di dati, ma i passaggi chiave sono leggermente diversi. Più esattamente, l'intelligenza artificiale include algoritmi per lo sviluppo e la progettazione, mentre la scienza dei dati si preoccupa maggiormente del data mining, della pre-elaborazione, dei dati esplorativi o della costruzione di modelli.

La scienza dei dati riguarda la creazione di modelli

La verità è che l'80% del tempo di un data scientist viene speso in attività che preparano il terreno per la costruzione dei modelli. Devono pulire, preparare, raccogliere e verificare la validità dei dati prima di intraprendere qualsiasi attività. Pertanto, un'attività di data science include non solo la creazione di modelli, ma anche la preparazione dell'intero flusso di lavoro di data science.

Inoltre, tornando all'obiettivo principale della scienza dei dati, in quanto disciplina interdisciplinare, trasformare i dati in intuizioni significative, l'obiettivo principale della scienza dei dati non è solo identificare i modelli utilizzando l'apprendimento automatico, ma anche trasmetterli in modo facile da digerire modo alle principali parti interessate.

Cosa fanno i data scientist?

La scienza dei dati è una disciplina che può facilmente avere una serie di responsabilità molto diverse a seconda dell'azienda, della maturità dei progetti di dati e dei volumi di dati raccolti. Tuttavia, i data scientist sono professionisti che interagiscono con vari team, al fine di identificare le opportunità. Hanno una buona competenza tecnica, spesso con un background in statistica, informatica o matematica.

Le responsabilità dei data scientist si concentrano su:

• Interazioni con vari team e stakeholder per identificare progetti ed esigenze che guidano il valore aziendale trasformando i dati in insight.
• Analizza i dati per promuovere ottimizzazioni e miglioramenti all'interno dell'azienda a diversi livelli: prodotto, operazioni e finanziario.
• Valutare la qualità e l'efficacia delle fonti di dati esistenti e delle tecniche utilizzate nel processo di raccolta.
• Coordinarsi con diversi dipartimenti per implementare i progetti di data science e implementarli su larga scala.
• Identifica, utilizza e sviluppa processi e strumenti che consentono una consegna più rapida dei progetti.

Tornando alla panoramica del lavoro da Glassdoor , le principali qualifiche che hanno i data scientist sono piuttosto ampie e interferiscono con vari settori:

• Capacità di programmazione : il linguaggio preferito è Python o R.
• Capacità di risoluzione dei problemi: per trasmettere i dati in intuizioni significative e risolvere anche le sfide relative al processo di raccolta dei dati.
• Tecniche di machine learning: per costruire facilmente modelli (es: clustering, decision tree learning, reti neurali, ecc.).
• Collaborazione tra i team e buone capacità comunicative
• Guida all'apprendimento di nuove tecnologie: poiché non è qualcosa che esiste da sempre, il panorama di strumenti, tecnologie e metodologie si evolve rapidamente, richiedendo ai professionisti di adattarsi rapidamente.
• Visualizzazione dei dati: per raccontare facilmente una storia utilizzando i dati.

• Raccolta e conservazione dei dati
• Preelaborazione e organizzazione dei dati,
• Sperimentazione e test A/B
• Costruzione, valutazione e implementazione di modelli ML
• Visualizzazione dei dati e dashboard KPI
• Prestazioni di monitoraggio del modello.

Strumenti di scienza dei dati

Come accennato in precedenza, i data scientist fanno molto affidamento su linguaggi di programmazione specializzati come Python o R. Si tratta di software open source che ha molte capacità di modellazione statistica, apprendimento automatico e grafica predefinite.

Python è stato il campione negli ultimi due anni, principalmente per l'ampia varietà di librerie che offre. NumPy, Pandas, Matplotlib o scikit-learn sono solo alcuni degli esempi che consentono ai data scientist di svolgere il proprio lavoro più velocemente.

Poiché non è solo una disciplina interdisciplinare, ma anche quella che consente il lavoro di squadra, la scienza dei dati utilizza spesso vari strumenti come Jupyter Notebook per facilitare la condivisione del codice e organizzare flussi di lavoro e altre informazioni. In caso di attività più avanzate, come l'automazione del flusso di lavoro, gli strumenti open source come Charmed Kubeflow assicurano un viaggio senza intoppi.

Oltre a questi, i data scientist cercano di acquisire esperienza nell'utilizzo di piattaforme di dati come database Spark o NoSQL, come MongoDB. Il panorama è in continua evoluzione e ogni giorno compaiono sul mercato nuovi strumenti. C'è una grande tendenza in questo mondo che sempre più strumenti sono open source, quindi qualsiasi professionista che ne sia curioso, può provarli facilmente e liberamente.

Il futuro della scienza dei dati

Il lavoro più sexy di questo secolo è qui per restare? Questa è una delle domande che circolano e le opinioni sono molto diverse. Se guardiamo semplicemente alle tendenze di Google per i due termini chiave, "data science" e "machine learning" , la risposta breve potrebbe essere che la data science è qui per restare a lungo.

Probabilmente è qualcosa di corretto, ma il modo in cui la scienza dei dati è stata definita in questi giorni cambierà senza dubbio. Con più aziende che cercano di raccogliere più dati e lo fanno in modo più efficiente, i data scientist dovranno allontanarsi dall'onere per dedicare molto tempo ad attività che stanno semplicemente preparando il terreno.

A lungo termine, la scienza dei dati, come disciplina, si evolverà e subirà una scissione. Da un lato, ci saranno più data scientist che diventeranno specialisti nel lato tecnico, concentrandosi sull'apprendimento automatico e dedicando più tempo e impegno all'ingegneria. Da un lato, ci sarà un gruppo di professionisti che si concentreranno su aree specifiche e diventeranno esperti in materia. Avranno un'ottima comprensione dei dati e del valore che ha la scienza dei dati e comprenderanno facilmente i punti deboli e afferreranno le intuizioni fornite dagli esperti di machine learning.

La scienza dei dati è, senza dubbio, un argomento di cui l'industria parlerà e sentirà parlare per un bel po' di tempo. Come si evolverà non è esattamente chiaro, ma è probabile che vedremo processi migliorati, una migliore collaborazione e uno sviluppo più rapido di nuove tecnologie. Il calcolo quantistico e i modelli multimodali saranno i temi caldi di cui la stampa scriverà nei prossimi anni. La scienza dei dati all'edge e l'elaborazione in tempo reale sono due progressi rilevanti che probabilmente faranno fatica a ottenere un'ampia adozione all'inizio. Il cambiamento di abilità genererà una maturità della disciplina, che viene anche con processi migliorati, strumenti e flussi di lavoro più sicuri.