Cosa sono i "big data"?

In un certo senso, i big data sono esattamente quello che sembrano: molti dati. Dall'avvento di Internet, abbiamo prodotto dati in quantità sbalorditive. È stato stimato che in tutto il tempo che precede l'anno 2003, sono stati generati solo 5 exabyte di dati, ovvero 5 miliardi di gigabyte. Ma dal 2003 al 2012, l'importo ha raggiunto circa 2,7 zettabyte (o 2.700 exabyte, o 2,7 trilioni di gigabyte) [fonti: Intel , Lund ]. Secondo i ricercatori di Berkeley, ora stiamo producendo circa 5 quintilioni di byte (o circa 4,3 exabyte) di dati ogni due giorni [fonte: Romanov ].

Il termine "big data" viene solitamente utilizzato per riferirsi a insiemi di dati digitalizzati enormi, in rapida espansione, vari e spesso non strutturati che sono difficili da mantenere utilizzando i database tradizionali. Può includere tutte le informazioni digitali che circolano nell'etere di Internet, le informazioni proprietarie di società con cui abbiamo fatto affari e documenti ufficiali del governo, tra molte altre cose. C'è anche l'implicazione che i dati vengano analizzati per qualche scopo.

Ne abbiamo generati molti noi stessi facendo acquisti online e partecipando ai social media, ma questa è solo la punta dell'iceberg. I big data possono includere documenti digitalizzati, fotografie, video, file audio, tweet e altri post sui social network, e-mail, messaggi di testo, tabulati telefonici, query sui motori di ricerca, tag RFID e scansioni di codici a barre e registrazioni di transazioni finanziarie, sebbene non lo siano le uniche fonti. Stai producendo dati ogni volta che fai qualcosa online, lasciando una traccia digitale che altri possono seguire e estrarre per informazioni utili.

Anche il numero e il tipo di dispositivi che producono dati stanno proliferando. Oltre ai computer di casa e ai sistemi per punti vendita dei rivenditori, abbiamo smartphone connessi a Internet, bilance abilitate al Wi-Fi che twittano il nostro peso, sensori di fitness che tracciano e talvolta condividono dati relativi alla salute, fotocamere che possono pubblicare automaticamente foto e video online e dispositivi satellitari di posizionamento globale ( GPS ) in grado di individuare la nostra posizione sul globo, solo per citarne alcuni. Non dimenticare i sensori meteorologici e del traffico, le telecamere di sorveglianza, i sensori di automobili e aeroplani e altre cose non collegate alle persone che raccolgono costantemente dati. Il gran numero di dispositivi elettronici che generano e caricano dati hanno dato origine al termine "Internet delle cose".

Troverai più definizioni di big data là fuori, quindi non tutti sono completamente d'accordo su ciò che è incluso, ma può essere qualsiasi cosa chiunque possa essere interessato a sapere che può essere sottoposta ad analisi computerizzata. E questi insiemi di dati grandi e ingombranti richiedono nuovi metodi per raccoglierli, archiviarli, elaborarli e analizzarli.

I big data devono essere raccolti, manipolati, collegati tra loro e interpretati affinché possano essere utili a chiunque. Le aziende e altre entità devono filtrare la grande quantità di dati disponibili per ottenere ciò che è più rilevante per loro. Fortunatamente, hardware e software in grado di elaborare, archiviare e analizzare enormi quantità di informazioni stanno diventando più economici e veloci, quindi il lavoro non richiede più supercomputer enormi e proibitivi. Alcuni dei software stanno diventando più facili da usare, quindi non è necessario un team di programmatori e data scientist per gestire i dati (anche se non fa mai male avere persone esperte in grado di comprendere le tue esigenze).

Le aziende sfruttano i servizi di cloud computing in modo da non dover nemmeno acquistare i propri computer per eseguire tutte quelle operazioni di elaborazione dei dati. I data center , detti anche server farm , possono distribuire batch di dati per l'elaborazione su più server e il numero di server può essere ridimensionato rapidamente in base alle esigenze. Questo calcolo distribuito scalabile viene realizzato utilizzando strumenti innovativi come Apache Hadoop, MapReduce e Massively Parallel Processing (MPP). I database NoSQL sono stati sviluppati come alternative più facilmente scalabili ai tradizionali sistemi di database basati su SQL.

Gran parte di questa elaborazione e analisi di big data è finalizzata a trovare modelli e correlazioni che forniscono informazioni che possono essere sfruttate o utilizzate per prendere decisioni. Le aziende possono ora estrarre enormi quantità di dati per ottenere informazioni sulle abitudini dei consumatori, sulla popolarità dei loro prodotti o su modi più efficienti di fare affari. L'analisi dei big data può essere utilizzata per indirizzare annunci, prodotti e servizi pertinenti ai clienti che ritengono più propensi ad acquistarli o per creare annunci che hanno maggiori probabilità di attirare il pubblico in generale. Le aziende ora stanno persino iniziando a fare cose come inviare annunci e coupon in tempo reale alle persone tramite i loro smartphone per luoghi vicini a luoghi in cui hanno utilizzato di recente le loro carte di credito .

Non è solo per farci comprare roba, comunque. Le aziende possono utilizzare le informazioni per migliorare l'efficienza e le pratiche, come trovare i percorsi di consegna più convenienti o immagazzinare la merce in modo più appropriato. Le agenzie governative possono analizzare i modelli di traffico, la criminalità, l'utilizzo dei servizi pubblici e altre statistiche per migliorare le decisioni politiche e il servizio pubblico. Le agenzie di intelligence possono usarlo per spiare e, si spera, sventare complotti criminali e terroristici. I news outfit possono usarlo per trovare tendenze e sviluppare storie e, naturalmente, scrivere più articoli sui big data.

In sostanza, i big data consentono alle entità di utilizzare dati quasi in tempo reale per prendere decisioni, invece di fare affidamento principalmente su vecchie informazioni come in passato. Ma questa capacità di vedere cosa sta succedendo con noi nel presente, e anche a volte di prevedere il nostro comportamento futuro, può essere un po' inquietante.

L'idea dei big data mette molti di noi a disagio. Sembra molto simile al Grande Fratello di Orwell, e con gli annunci di aziende che sembrano sapere cosa stiamo facendo e le recenti rivelazioni di spionaggio interno della NSA , è comprensibile che alcune persone trovino inquietante l'enorme quantità di informazioni là fuori su tutti noi .

Le persone possono dire molto su di te da questi dati, inclusi età, sesso, orientamento sessuale, stato civile, livello di reddito, stato di salute, gusti, hobby, abitudini e tutta una serie di altre cose che potresti o meno voler rendere pubbliche conoscenza. Hanno solo bisogno di avere i mezzi e la volontà per raccoglierlo e analizzarlo. E che abbiano buone o cattive intenzioni, possono avere conseguenze indesiderate.

Diamo più informazioni di quante ne realizziamo alle aziende con cui abbiamo rapporti commerciali, soprattutto se utilizziamo carte fedeltà o paghiamo con carte di credito o di debito. Qualcuno può imparare molto su di te solo dall'analisi dei tuoi acquisti. Target ha ricevuto un po' di stampa quando si è scoperto che potevano individuare quali clienti erano incinte e persino quanto fossero vicine alle loro date di scadenza da cose come i tipi di integratori e lozioni che stavano acquistando. In un caso, Target ha iniziato a spedire coupon per prodotti per l'infanzia direttamente a un'adolescente, scatenando l'ira di suo padre contro l'azienda per averle inviato quelle che considerava annunci inappropriati per l'età, finché non ha scoperto la sua gravidanza [fonti: Datoo , Duhigg , Economista ].

I governi e i difensori della privacy hanno tentato di regolamentare il modo in cui le informazioni di identificazione personale (PII) delle persone vengono utilizzate o divulgate al fine di fornire alle persone un certo controllo su ciò che diventa di dominio pubblico. Ma l'analisi predittiva può aggirare molte leggi esistenti (che si occupano principalmente di tipi specifici di dati come quelli finanziari, medicio documenti didattici) consentendo alle aziende di concludere cose su di te indirettamente, e probabilmente a tua insaputa, utilizzando informazioni disparate raccolte da fonti digitali. Alcune aziende utilizzano le informazioni per eseguire operazioni come controllare l'affidabilità creditizia dei potenziali clienti utilizzando dati diversi dal punteggio di credito tipico, che può essere positivo o negativo per te, a seconda di ciò che trovano e di come lo interpretano. Una preoccupazione, tuttavia, è che questo tipo di informazioni personali può portare a discriminazioni in materia di lavoro, alloggio o prestito difficili da rilevare. E peggio ancora, potrebbe non essere sempre del tutto accurato.

È anche possibile che i modelli visti nei big data vengano interpretati erroneamente e portino a decisioni sbagliate. Come ogni strumento, i risultati dipendono tutti da quanto bene viene utilizzato. Anche se la matematica è coinvolta, l'analisi dei big data non è una scienza esatta e la pianificazione e il processo decisionale umano devono entrare da qualche parte. Con enormi set di dati, è necessario valutare ciò che è importante e ciò che può essere ignorato. Ma eseguire bene l'analisi dei big data può offrire alle aziende un vantaggio competitivo.

Tale analisi può essere utilizzata per cose che sono ovviamente buone, come combattere le frodi. Banche, fornitori di carte di credito e altre società che si occupano di denaro ora utilizzano sempre più l'analisi dei big data per individuare schemi insoliti che indicano attività criminali. Su un account individuale, possono essere rapidamente avvisati di segnali d'allarme come acquisti di articoli insoliti, importi che il cliente normalmente non spenderebbe, una posizione geografica strana o un piccolo acquisto di prova seguito da un acquisto molto grande. I modelli su più account, come addebiti simili su carte diverse della stessa area, possono anche avvisare un'azienda di possibili comportamenti fraudolenti.

Enormi set di dati possono aiutare nella ricerca scientifica e sociologica, nelle previsioni elettorali, nelle previsioni meteorologiche e in altre attività utili. I post sui social media e le ricerche su Google sono stati persino utilizzati per scoprire rapidamente dove si stanno verificando focolai di malattie. Quindi non sono tutte cattive notizie. Ci vorrà solo un po' di tempo per risolvere tutti i potenziali problemi e attuare leggi che ci proteggano da potenziali danni. Fino ad allora, se sei preoccupato, potresti voler tornare agli acquisti in contanti e guardare cosa pubblichi su di te. Tuttavia, probabilmente siamo troppo in fondo alla tana del coniglio perché qualcuno di noi sia completamente fuori dal radar.

Nota dell'autore: cosa sono i "big data"?

Come ogni cosa, i big data possono essere usati per il bene, per il male e per molte cose intermedie. Avere annunci e coupon mirati a noi può essere una comodità o un grosso fastidio. Ed è più che snervante la quantità che gli estranei possono imparare su di noi solo perché stiamo rubando la plastica nei loro negozi o usando le loro carte.

Le carte fedeltà che avevo sempre pensato fossero modi per raccogliere dati sui nostri acquisti, ma non avevo davvero apprezzato quanti dati simili ci fossero stati legati individualmente tramite acquisti di debito/credito fino ad ora, o gli incredibili dettagli sulle nostre vite che potrebbero essere distinto da esso. E questo non include nemmeno tutte le altre informazioni su di noi là fuori su Internet.

Il pensiero che ogni mia mossa venga analizzata mi fa venire voglia di uscire un po' dalla griglia, smettere di postare online e usare i contanti per tutto. Anche se la maggior parte di noi, incluso me, probabilmente continuerà così per motivi di comodità. Potrei semplicemente pubblicare e acquistare come se fossi osservato.

articoli Correlati