introduzione

Oggi alziamo il sipario e presentiamo Paradime , il sistema operativo per l'analisi, che abbiamo costruito negli ultimi 2 anni di nascosto.

Costruire una startup di nascosto è difficile. È più difficile di quanto tu possa immaginare. Assumere è difficile, la prospezione è difficile. Parlare con le persone del tuo prodotto è difficile. Ma aiuta a costruire e iterare un prodotto senza distrazioni insieme ai nostri partner di progettazione per consolidare la proposta. Quindi è quello che abbiamo fatto.

Nel moderno stack di dati, negli ultimi anni, la proliferazione di nuove soluzioni puntuali ha portato al caos degli strumenti. Ci sono così tanti strumenti là fuori che è impossibile tenerne traccia tutti. I data leader stanno dedicando più tempo di quanto dovrebbero a cercare di gestire i propri strumenti, costi e fornitori. Sono stanchi di fare viaggi di andata e ritorno con gli appalti. Sono anche stufi di gestire la proliferazione dei dati tra più fornitori, il che aumenta il rischio di violazioni dei dati.

Per l'ingegnere di analisi, il caos degli strumenti ha portato a un sovraccarico cognitivo e a un calo della produttività. La vita è diventata più dura che mai.

Come ha riassunto Benn nel suo post La polveriera del moderno stack di dati che:

La più grande battaglia incombente, tuttavia, riguarderà un territorio diverso: il cervello, o sistema operativo

In Paradime stiamo costruendo il sistema operativo per l'analisi .

Sfondo

Nel 2018-19, in Octopus, il mio team stava ricostruendo l'intero stack di dati da zero. Abbiamo fatto a pezzi un fragile stack legacy costituito da SSIS, codice di importazione su misura scritto in .NET, SQL Server, Qlik ecc.

La soluzione finale che abbiamo ottenuto dopo 6 mesi di estenuante lavoro era simile alla seguente:

• Stitch , Fivetran e Segment per l'inserimento dei dati
• dbt-core in esecuzione all'interno del flusso d'aria per la trasformazione
• Cercatore di visualizzazione

Oltre all'architettura degli strumenti, quando abbiamo aggiunto il livello persone/team, abbiamo visto che:

• I flussi di dati hanno mantenuto gli strumenti strettamente accoppiati
• Eppure gli strumenti hanno frammentato il livello persone/team
• E Slack era l'unico collante vagamente connesso per la comunicazione umana

Ogni analista di dati passerebbe la maggior parte delle proprie giornate rimbalzando tra app low-code/qualche-codice/open-source/commerciali, combattendo incendi e annegando nelle richieste di dati quando tutto ciò che dovrebbe fare è generare ROI per l'azienda.

Un'organizzazione media di serie C+ avrebbe 70 dipendenti in funzioni aziendali per analista di dati, il che significa che in un dato giorno questi 70 dipendenti impazzirebbero per non ricevere risposte alle loro domande o richieste e il povero analista urlerebbe nella sua testa che voleva costruire preziose intuizioni non rispondere a Slack tutto il giorno. Questa situazione di stallo l'abbiamo vista in prima persona su Octopus, poi su The Guardian, poi su Revolut, Hubspot, Carta e l'elenco potrebbe letteralmente continuare.

Abbiamo sentito ripetutamente da analisti di dati e ingegneri di analisi che mentre dbt li aveva liberati dall'inferno di SQL, l'esplosione di strumenti li ha ricacciati nel fuoco dell'inferno.

Dall'altro lato, abbiamo visto che le funzioni aziendali hanno fame di dati e prendono decisioni aziendali basate sui dati che sono aumentate in modo esponenziale. Slack senza contesto dei dati non era più adatto allo scopo per l'impresa basata sui dati.

Il livello essenziale di conversazione da uomo a uomo intorno ai dati era goffo, richiedeva tempo e privo di contesto.

Abbiamo deciso di affrontare il problema della produttività e della collaborazione nei flussi di lavoro di analisi tramite Paradime.

Ci siamo resi conto che il nuovo mondo di dbt + il moderno stack di dati ha bisogno di una nuova categoria di strumenti con cui lavorare in modo che le persone possano lavorare più velocemente, in modo più intelligente e molto meno stressate.

Cosa stiamo costruendo?

La disciplina dell'analisi dei dati si è evoluta in maniera massiccia negli ultimi anni. C'è un movimento per portare i principi dell'ingegneria del software nell'analisi. L'analisi come disciplina è diversa dall'ingegneria del software. C'è il contesto del codice, il contesto dei dati e il contesto delle persone. Tuttavia, come analisti, siamo bloccati con gli strumenti utilizzati dagli ingegneri del software.

Stiamo cambiando questo status quo portando sul mercato quanto segue:

1. Un sistema operativo di analisi che offre alle persone il controllo sui propri dati creando al contempo un salto di valore non lineare attraverso flussi di lavoro efficienti.
2. collegare dati, analisi e funzioni aziendali in un unico flusso di lavoro collaborativo

È come avere processori davvero potenti sulla scheda madre mentre il sistema di bus tra di loro ha un throughput limitato.

Paradime è progettato per potenziare quei flussi di lavoro di analisi, che oggi sono inesistenti nella maggior parte delle organizzazioni o presenti solo nelle aziende con risorse significative per creare strumenti interni.

A tal fine, oggi annunciamo 5 componenti di quel flusso di lavoro come spiegato di seguito.

1. Inserimento

Allontanandoti dall'impostazione e dalla gestione degli spazi di lavoro dbt su singoli laptop, in Paradime puoi integrare gli analisti in meno di 3 minuti una volta che l'account è stato configurato dall'amministratore. La configurazione dell'account amministratore richiede meno di 30 minuti e non richiede alcun supporto tecnico. Non ci sono 3 mesi di implementazione e costi per servizi professionali.

Supportiamo la connessione al repository dbt su Github , BitBucket e Gitlab . Supportiamo la connessione a Redshift , BigQuery , Snowflake e Firebolt e altro ancora.

2. Codice IDE

Code IDE è il fiore all'occhiello dell'esperienza Paradime.

L'IDE Paradime offre la migliore esperienza IDE desktop della categoria per l'analisi nel cloud. È veloce, performante e ha la più ampia copertura di funzionalità. È appositamente progettato per i flussi di lavoro di analisi rispetto agli IDE cloud generici come Gitpod , AWS Cloud9 , Stackblitz , che sono più adatti per l'ingegneria del software.

Viene fornito con tutta l'ergonomia che gli sviluppatori si aspettano da un IDE desktop, ma alcune delle caratteristiche degne di nota includono:

• Tutto ciò che hai in VSCode : aspetto grafico, scorciatoie da tastiera, ricerca di file in modo da non dover imparare un nuovo IDE da zero.
• Un terminale nativo per eseguire qualsiasi comando CLI inclusi git, python e SqlFluff
• Anche gli utenti esperti di dbt possono installare i propri pacchetti Python.
• Supporto git-ops completo basato sull'interfaccia utente per utenti principianti e avanzati
• E, cosa più importante, visualizzazione in linea in tempo reale di derivazione, documenti, anteprima dei dati per qualsiasi modello dbt, senza eseguire alcun comando dbt o generare manifest.json

3. Discendenza del grafico

Il problema che volevamo risolvere qui era:

1. Gli analisti non possono aspettare ore o addirittura minuti per vedere un lignaggio aggiornato mentre creano nuovi modelli o refactoring di quelli esistenti. Hanno bisogno di una visione in tempo reale.
2. Gli analisti hanno bisogno di una comprensione olistica del lignaggio sia nel livello dbt (già in dbt-cloud) sia nel livello BI nel loro lavoro quotidiano.

Per Looker, forniamo discendenza attraverso visualizzazioni, esplorazioni, look, dashboard e pianificazioni, fornendoti una visione end-to-end della tua discendenza dbt+Looker. Allo stesso modo, per Tableau possiamo collegare origini dati, fogli di lavoro e dashboard.

I team stanno andando oltre dbt exposures, che sono difficili da mantenere e non forniscono alcuna visibilità sui componenti del livello BI tra tabelle dbt e dashboard BI.

4. Schede dei bulloni

Il problema che volevamo risolvere qui era:

1. Gli utenti di Analytics trovano difficile Airflow / Dagster / Prefect
2. Ai team di Data Platform non piace che le persone vadano e modifichino i flussi di lavoro di produzione nell'interfaccia utente di dbt-cloud senza tracciabilità.

Disponiamo anche di API per attivare i tuoi programmi dbt da Airflow, Dagster o Prefect e ricevere avvisi quando sono completi. L'API offre ai team della piattaforma un maggiore controllo per gestire le dipendenze a monte ea valle delle pianificazioni dbt.

E te l'ho detto: abbiamo anche un importatore con un clic per tutti i tuoi lavori dbt da dbt cloud a Paradime, quindi la migrazione non sembra un'avventura folle.

5. Interrogare SQL

La costruzione di un modello dbt è la maggior parte delle volte l'ultima fase del processo di modellazione. Gli analisti trascorrono molto tempo esplorando i dati nel magazzino e armeggiando con l'SQL grezzo e compilato dei modelli esistenti per eseguire il loro lavoro quotidiano. Esistono numerosi avanti e indietro tra l'IDE e l'editor SQL, copia e incolla, modifica e sostituzione dei nomi delle tabelle con refs.

Il problema che volevamo risolvere qui era:

1. Come semplificare il processo di modellazione dbt e di esplorazione dei dati in modo da non dover andare avanti e indietro.
2. Come rendere efficiente l'ottimizzazione dei modelli dbt compilati senza dover effettuare viaggi di andata e ritorno tra l'editor di codice e l'editor SQL

Per chi è Paradime?

Durante l'evoluzione del sistema operativo per Apple, c'erano due scuole di pensiero: Wozniak credeva che dovesse essere un sistema aperto in modo che gli hobbisti e gli armeggiatori potessero giocarci e Steve Jobs, pensava che dovesse essere un sistema che funzionasse. Oggi amiamo MacOS, perché funziona.

Durante la nostra ricerca, abbiamo scoperto che ci sono allo stesso modo due personaggi principali di analisti/ingegneri analitici nel mondo di oggi:

• Tinkerers - Queste sono persone che amano armeggiare, giocare con diversi strumenti e librerie. A loro piace esplorare e costruire le proprie funzionalità sopra l'OSS esistente. Sono già molto a loro agio con la propria configurazione IDE. Sono hobbisti. Sono più orientati all'ingegneria del software. È improbabile che Paradime sia adatto a loro oggi.
• Costruttori : si tratta di utenti che si concentrano singolarmente sul portare a termine il proprio lavoro rapidamente senza problemi. Utenti che apprezzano la produttività, utenti per i quali vince la velocità. Vogliono affinare le proprie capacità di analisi e modellazione dei dati. Vogliono generare valore aziendale dalle loro intuizioni. Adorano solo gli strumenti che non richiedono alcuna configurazione, che funzionano e basta. Il paradiso è per loro.

Qual è il prossimo?

Beh, un sacco di cose. Stiamo annunciando solo la punta dell'iceberg qui. Stiamo anche lanciando su Product Hunt la prossima settimana, quindi seguici per ricevere una notifica quando lo lanciamo.

Abbiamo molto da fare nei prossimi mesi, quindi tieniti forte.

Perché come ho detto prima, il mondo dell'analisi ha davvero bisogno di una migliore classe di strumenti con cui lavorare e abbiamo ancora molta strada da fare.