Un'analisi approfondita di alcuni concetti di base del data warehousing,

Magazzino dati

Prima di tutto, cos'è un Data Warehouse?

Un repository centrale di informazioni.

Il data warehouse riunisce e aggrega i dati provenienti da più fonti eterogenee in un archivio dati centrale per supportare analisi e report sofisticati.

I dati e l'analisi costituiscono il fulcro di ogni azienda. Le aziende si affidano a strumenti analitici, dashboard e report per ottenere informazioni dai propri dati, monitorare e prevedere le prestazioni aziendali e supportare il processo decisionale. Il data warehouse consente loro di eseguire queste potenti analisi su enormi (ripeto, ENORMI ) volumi di dati in modo efficiente.

Architettura del magazzino dati

Un tipico data warehouse è solitamente costituito da tre livelli.

Livello inferiore: server Data Warehouse , che è responsabile della raccolta, pulizia e trasformazione dei dati raccolti da varie fonti. Questo viene fatto attraverso un processo chiamato ETL (Extract, Transform & Load) o tramite processo ELT (Extract, Load & Transform).

Livello intermedio: server OLAP , che consente velocità di query elevate fornendo una visione astratta del database.

Livello superiore: interfaccia utente front-end o uno strumento di reporting , che consente agli utenti di eseguire analisi sui dati.

Schemi in Data Warehouse

Uno schema è essenzialmente un formato in cui i dati sono organizzati all'interno di un database o di un data warehouse.

Prima di immergerci negli schemi nel data warehouse, dobbiamo prima capire una cosa:

Tabelle dei fatti e delle dimensioni

Le tabelle dei fatti sono tabelle che contengono le chiavi primarie delle tabelle delle dimensioni di riferimento insieme ad alcune metriche quantitative (misure) su cui è possibile eseguire una qualche forma di calcolo. Alcuni esempi di tabella dei fatti sono i registri degli ordini, i dati finanziari delle serie temporali, ecc.

Le tabelle delle dimensioni contengono informazioni descrittive per i campi correlati presenti nei record della tabella dei fatti. L'esempio più comune di tabelle delle dimensioni sono le tipiche tabelle Cliente e Prodotto .

Consideriamo un esempio di un cliente che acquista prodotti da negozi fisici.

Le Tabelle Dimensione (in blu), contengono informazioni su Prodotti , Date , Clienti e Negozi .

La tabella dei fatti (in giallo) contiene tutte le chiavi primarie delle tabelle delle dimensioni, che sono chiavi esterne per la tabella dei fatti: customer_id, product_id, store_id e date_id . Contiene anche misure quantitative — quantità e importo .

Tornando agli schemi di Data Warehouse,

Esistono due tipi di schemi DW:

Schema a stella

Il tipo più comune di schema, lo schema a stella è costituito da una tabella dei fatti collegata a più tabelle delle dimensioni denormalizzate . Questo è lo schema più semplice e gli utenti traggono vantaggio da velocità di query più elevate.

Consideriamo un esempio di seguito.

Qui la tabella dei fatti, nota anche come tabella degli ordini , è ulteriormente collegata a cinque tabelle delle dimensioni, vale a dire Cliente, Dipendente, Articoli, Magazzino e Data .

Schema del fiocco di neve

Il secondo tipo di schema, lo schema a fiocco di neve, è costituito da una tabella dei fatti collegata a più tabelle delle dimensioni normalizzate , in cui le tabelle delle dimensioni hanno inoltre tabelle figlio . Sebbene non sia così ampiamente adottato, lo schema a fiocco di neve è piuttosto vantaggioso per bassi livelli di ridondanza, ma a scapito delle prestazioni delle query.

Consideriamo lo stesso esempio di cui sopra, ma per lo schema a fiocco di neve, sarebbe simile a questo:

Qui la tabella dei fatti, nota anche come tabella degli ordini , è ulteriormente collegata a cinque tabelle delle dimensioni, vale a dire Cliente, Dipendente, Articoli, Magazzino e Data . Alcune tabelle delle dimensioni sono ulteriormente normalizzate e hanno tabelle figlie: la tabella Employee ha due tabelle figlie: Gender e Office , Items ha una tabella figlio Color , ecc.

Vantaggi del data warehouse

I principali vantaggi del data warehouse sono i seguenti:

• Consente un processo decisionale intelligente: i data warehouse supportano funzioni di BI su larga scala come il data mining (trovare modelli o relazioni invisibili nei dati), l'apprendimento automatico (prevedere le vendite per il trimestre successivo ecc.) e altre analisi dei dati - strumenti che aiutano i leader aziendali e i professionisti raccolgono prove concrete per supportare il loro processo decisionale, in ogni aspetto dell'attività, dalle previsioni finanziarie e l'elaborazione aziendale alla gestione dell'inventario.
• Migliore qualità dei dati: i dati provenienti da più fonti eterogenee come sistemi transazionali, database relazionali e file flat vengono raccolti, ripuliti e standardizzati per rimuovere la ridondanza e formare un'unica fonte di verità.
• Separazione dell'elaborazione analitica dai database transazionali: i sistemi transazionali consentono di gestire rapidamente le transazioni quotidiane su larga scala, mentre il data warehouse aiuta a eseguire potenti analisi su enormi volumi di dati. I due hanno scopi diversi e quindi separarli aiuta a migliorare le prestazioni di entrambi. Per capire meglio, controlla questo .

Prachi Singh

Associato tecnologico presso Morgan Stanley

Linkedin | Cinguettio