Fare scienza dei dati con Julia e CRRao

Feb 11 2023

Introduzione La lingua è un metodo di comunicazione tra esseri umani. Anche gli animali comunicano in un loro linguaggio ingenuo.

introduzione

La lingua è un metodo di comunicazione tra esseri umani. Anche gli animali comunicano in un loro linguaggio ingenuo. Gli scimpanzé possono imparare un linguaggio dei segni ingenuo. Il linguaggio di programmazione è un metodo di comunicazione tra uomo e computer. Se scriviamo qualcosa in inglese, i nostri colleghi lo capiranno. Se scriviamo qualcosa in Python, qual è la probabilità che altri data scientist lo capiscano immediatamente?

Lost in Translation: equazione matematica al codice R o Python

Nella Figura 1, a sinistra, descriviamo la regressione lineare bayesiana con coniugato precedente. Nel pannello di destra, implementiamo lo stesso modello usando R. Chiaramente, c'è uno scollamento tra le equazioni matematiche e il codice di programmazione . Spesso questo deve essere chiarito tra gli aspiranti data scientist. Riduce la trasparenza all'interno di un'organizzazione, divisione o gruppo. Se i colleghi data scientist non capiscono cosa stiamo facendo, la trasparenza è un grosso problema. La mancanza di spiegabilità nel nostro codice di programmazione porta a una mancanza di spiegabilità in AI e ML .

Sarebbe fantastico se potessimo scrivere il linguaggio di programmazione nel modo in cui scriviamo le equazioni matematiche. — Prof Alan Edelman, MIT, co-fondatore di Julia

Figura 1: A sinistra, descriviamo la regressione lineare bayesiana con coniugato precedente. Nel pannello di destra, implementiamo lo stesso modello usando R. Se mostriamo il codice R ai nostri colleghi data scientist, qual è la probabilità che lei/lui capisca che si tratta di un'implementazione R del modello nel pannello di sinistra? Lo farebbero, ma ci vorrà molto tempo.

Julia è una lingua di alto livello

Uno dei vantaggi significativi del linguaggio di programmazione Julia è l'espressività. Possiamo scrivere il programma nel modo in cui scriviamo le equazioni matematiche. Julia è una lingua di alto livello.

Figura 2: Julia è un linguaggio di alto livello. Julia consente unico-code. Quindi possiamo scrivere il codice nel modo in cui scriviamo le equazioni matematiche.

La Figura 2 presenta un'istantanea di come possiamo scrivere la programmazione bayesiana in Julia utilizzando il pacchetto Turing. Julia è un linguaggio di alto livello con un'elevata spiegabilità.

E le prestazioni?

Sappiamo che C, Fortran e Java sono linguaggi ad alte prestazioni ma di basso livello. D'altra parte, i linguaggi ML come R, Python, Matlab, SAS e Stata sono linguaggi di alto livello ma sacrificano le prestazioni. Queste lingue di alto livello soffrono di quello che viene chiamato un problema di due lingue . Il compilatore di questi linguaggi è scritto in linguaggi di basso livello come C o Fortran. Tuttavia, il compilatore di Julia è scritto in Julia stessa. Questo rende Julia veloce quanto C.

Figura 3: Prestazioni riguardanti C tra Julia, Fortran, Python, R e Matlab

Ma come può Julia ottenere prestazioni mentre è un linguaggio di alto livello?

Nella Tabella 1, presentiamo l'anno in cui è stata rilasciata la versione 1.0 in diverse lingue. Essendo il più recente, Julia sfrutta molte grandi idee e lo sviluppo della teoria dei compilatori e dei linguaggi di programmazione. Ad esempio, un'implementazione LLVM di Julia lo rende competitivo rispetto ad altri linguaggi ML.

Usi notevoli di Julia

Aziende come Amazon, Apple, AstraZeneca, Capital One, Google, IBM, Intel, JPMorgan, Microsoft, Moderna, Pfizer e United Airlines hanno adottato Julia nella loro pratica di data science.

Tra le diverse agenzie governative, la NASA, la Fed Reserve degli Stati Uniti e l'Instituto Nacional de Pesquisas Espaciais INPE ( Agenzia spaziale brasiliana) hanno adottato Julia nella loro pratica di data science.

CRRao: singola API per diversi modelli di data science

Figura 4: Prof CRRao è uno statistico indiano americano che ispira generazioni di data scientist. Per saperne di più, controlla la pagina di Wikipedia.

Al Chennai Mathematical Institute (#CMI), stiamo costruendo un'API coerente per la scienza dei dati in Julia. Molti modelli statistici possono essere stimati in Julia e la diversità dell'ecosistema del modello è in costante miglioramento. Traendo ispirazione dal pacchetto Zelig nel mondo R, il pacchetto CRRao.jl fornisce un'API semplice e coerente all'utente finale. L'utente finale deve quindi affrontare il costo fisso per imparare a farlo una volta. Successivamente, diventa disponibile un'ampia gamma di modelli e funzionalità associate con una sintassi coerente. Speriamo che altri che sviluppano modelli statistici costruiscano all'interno di questo quadro.

Regressione lineare semplice in CRRao

Ecco un esempio di stima della regressione lineare. Supponiamo di considerare il set di dati mtcars e di voler modellare le miglia per gallone (MPG) in funzione della potenza (HP), del peso (WT) e della marcia.

MPG = β0 + β1 HP + β2 WT + β3 Gear + ϵ

julia> using CRRao, RDatasets, StatsModels

julia> df = dataset("datasets", "mtcars")

julia> model = fit(@formula(MPG ~ HP + WT+Gear), df, LinearRegression())


────────────────────────────────────────────────────────────────────────────
                  Coef.  Std. Error      t  Pr(>|t|)   Lower 95%   Upper 95%
────────────────────────────────────────────────────────────────────────────
(Intercept)  32.0137     4.63226      6.91    <1e-06  22.5249     41.5024
HP           -0.0367861  0.00989146  -3.72    0.0009  -0.0570478  -0.0165243
WT           -3.19781    0.846546    -3.78    0.0008  -4.93188    -1.46374
Gear          1.01998    0.851408     1.20    0.2410  -0.72405     2.76401
────────────────────────────────────────────────────────────────────────────

Regressione lineare bayesiana con HorseShoe Prior in CRRao

Ora, se vuoi adattare la stessa regressione lineare con l'esotico HorseShoe precedente, tutto ciò che devi fare è menzionare il nome del precedente.