Intelligenza decisionale? Sì grazie.

Sono un lettore abituale di Medium da un po' di tempo ormai, e per me uno dei motivi principali per iscrivermi è stata la generosa condivisione delle esperienze duramente guadagnate dalle persone.

Ricordo, ad esempio, di aver letto su "Cosa avrei voluto sapere prima di scegliere X", dove "X" era una scelta tecnologica che avevamo appena fatto nella mia azienda. L'articolo aveva l'immagine di qualcosa che bruciava con alte fiamme.

Buone intuizioni, da prendere sempre con le pinze, e ripetersi sempre che 'OK, sono stati sfortunati/troppo presto/non così intelligenti. Siamo diversi'. Desideri…

Ora è giunto il momento per me di iniziare a restituire, magari dando ad alcuni lettori qualche intuizione o almeno la sensazione di non essere soli, o forse anche la calda sensazione di essere mooolto meglio di questo ragazzo e dei suoi compagni di squadra.

Ora per il titolo click bait, qualsiasi cosa con "Decision Intelligence" dovrebbe, giustamente, suscitare un certo interesse da parte di chiunque cerchi di guadagnarsi da vivere nel dominio dell'analisi.

Disclaimer, in ritardo lo so, questo testo è solo un'altra conferma dell'importanza di ciò che in particolare Cassie Kozyrkov ( Cassie Kozyrkov ) sta articolando così bene. Se questo è ciò di cui vuoi davvero saperne di più, smetti di leggere questo e vai qui .

Eccoci qui.

La festa è pronta.

Abbiamo un sacco di dati e persone che sono davvero brave a far "cantare" i dati, abbiamo i proprietari dei dati, che non vogliono altro che metterli alla prova - per vedere cosa possiamo ricavarne tutti. Abbiamo maghi della matematica e hacker, uomini d'affari e uno o due "sappiamo più di chiunque altro su quest'area". Abbiamo coperto il diagramma di Drew Conway Venn , molte volte.

Ma da dove inizi? Il nostro "modo di lavorare" originale era, ai tempi del vecchio (sic!) Data Lake, per prima ottenere i dati e poi andare a caccia di affari. Non è stato facile per vari motivi e un argomento a sé stante (indizio: provare a convincere gli imprenditori a saltare sul fantastico treno ML, imprenditori che non sono ancora molto contenti dei precedenti viaggi di BI).

Nel corso del tempo, dopo molte chiamate a freddo e incomprensioni, siamo migliorati nella narrazione e nella creazione di un caso per un MVP o almeno un POC ('POC graveyards' è/dovrebbe già essere trattato qui su Medium, in caso contrario, per favore aggiungilo - il motivo principale per MLOps di oggi).

Parla con la persona giusta.

Ovvio, vero? Non così semplice. Nelle aziende più grandi ci sono molte persone tra un team di analisi e il suo cliente previsto. Tutte queste persone sono necessarie, ne sono certo, ma come qualcuno che vuole fare la differenza utilizzando l'analisi dobbiamo parlare con la persona che prende la decisione effettiva e la persona o le persone che conoscono tutti i dettagli rilevanti sull'area target /sistema/processo/...

In un progetto noi, io e il mio collega di data science, abbiamo trascorso alcuni (quasi 6 mesi alla fine) mesi a sviluppare modelli per prevedere i guasti in uno specifico servizio di telecomunicazioni. Ad un certo punto (alla fine) stavamo dando una demo a un vertice di analisi interno, dimostrando ciò su cui stavamo lavorando e alcune fantastiche tecniche di deep learning appena uscite da arXiv, che ci piacerebbe provare su alcuni progetti (se qualcuno vorrei, per favore, capire quanto sarebbe bello).

È passato un ingegnere anziano. Aveva visto alcune trame del nostro progetto di manutenzione predittiva in corso. Era interessato poiché aveva lavorato direttamente con questo esatto servizio di telecomunicazioni per anni. Molti. Anni. Ha cortesemente posto alcune domande. Era chiaro che non voleva metterci in imbarazzo, ma le domande erano molto semplici e chiaramente ci facevano sembrare tutt'altro che fighi.

'Quali dati meteorologici hai usato? Sai che la neve ha un chiaro impatto su queste cose. Per non parlare delle calde estati, ragazzo!' Ancora una volta, era solo curioso, come ogni buon ingegnere. Concludendo con il commento che alla fine ha posto un grosso punto interrogativo al nostro progetto: "Sai, eseguiamo sempre queste cose con componenti di backup, nel caso in cui qualcosa si rompesse".

Allora cos'era successo qui? Abbiamo iniziato il progetto con una buona motivazione: il valore di prevedere i guasti in questi sistemi era chiaro, lo sapevano tutti. Inoltre c'erano alcuni piani per acquistare una soluzione dall'esterno, invece di costruirla internamente.

Valore: controlla.

Assicurandoci di battere la soluzione esterna dimostrando il nostro valore per l'azienda: sì, lo faremo!

Parlare con la persona giusta? No, ovviamente no.

Ottieni la metrica giusta. Ottieni un'approvazione: obiettivo da raggiungere, impegno ad agire se l'obiettivo viene raggiunto.

Un primo segnale di avvertimento (nello stesso progetto di cui sopra) è stato quando abbiamo discusso le metriche per il successo, abbiamo davvero cercato di ottenere un impegno dal business per utilizzare le nostre previsioni per prendere decisioni effettive, e per arrivarci dovevamo avere una metrica concordata e un valore associato a quella metrica.

Il segnale di avvertimento è stato in uno dei primi incontri, quando il fornitore esterno stava impressionando la nostra attività con "estrema precisione". Ora. In questi ambienti i guasti sono rari (rendendo estremamente difficile eseguire la modellazione predittiva). Molto rara. Così raro che chiunque potrebbe portare il modello fittizio predefinito e avere una grande precisione. «Non prevedo fallimenti. Oh, ho una precisione del 99%, figo!'. No, non va bene.

Quindi, in un certo senso, ci siamo guadagnati il ​​nostro posto nel progetto ponendo alcune domande sulla metrica giusta da utilizzare, facendo capire alla nostra azienda perché questo era un trucco economico da parte del venditore.

Ora. Abbiamo una metrica e un obiettivo da raggiungere? E questi erano fondati sul valore effettivo che avrebbero portato all'azienda, se utilizzati, se prendessero decisioni basate sulla nostra analisi, sui nostri dati?

Sì e no. Chiaramente non è stato pienamente compreso e fondato, e alla fine le prestazioni dei nostri modelli (hanno battuto quelle del fornitore) non erano abbastanza elevate per essere utilizzate. Abbiamo fatto risparmiare all'azienda un sacco di soldi, non acquistando una soluzione esterna (che comunque non sarebbe stata utilizzata). Ma avremmo potuto fermarci mesi prima.

Altri esempi, stessi errori

Nel secondo esempio, se non ti ho già perso, ci siamo scatenati nel provare un mucchio di architetture di deep learning, l'intero (a quel tempo) shebang, tutto per aiutare a creare un buon classificatore di testo (pensa all'area di assistenza clienti ).

Ancora una volta il valore era chiaro e altri (team esterno di data science) ci avevano provato. Potremmo fare molto meglio in un tempo molto più breve. Abbiamo questo nuovo gruppo di nuovi strumenti nella nostra borsa e lo avremmo usato.

Ancora. Sì, abbiamo fatto molto meglio della concorrenza e ho impiegato una frazione del tempo che avevano impiegato loro. Allora, è stato usato?

No. Questa volta è stato dovuto a limitazioni più pratiche: sì, potremmo classificare i testi in oltre 40 raggruppamenti ragionevoli, tutti perfettamente sensati per le persone di servizio. Ma in realtà i thread di posta si sono spostati tra le classi, inoltre il personale di servizio ha gestito molte classi in parallelo (ovviamente) e, come spesso accade, il problema che stavamo risolvendo era molto lontano dai problemi che dovevano risolvere prima. Fondamentalmente suggerivamo carta vetrata 240 prima della 40.

E, anche in questo caso, non siamo riusciti a parlare con tutte le persone giuste fino alla fine. E ancora una volta non abbiamo concordato in anticipo l'impegno a utilizzare (se abbastanza buono) ciò che abbiamo sviluppato.

Fai i tuoi compiti

Forse un'altra lezione dall'alto sarebbe:

Solo perché altri hanno provato prima, non garantisce che il problema sia formulato correttamente.

In entrambi gli esempi abbiamo ottenuto risultati migliori rispetto alle squadre precedenti e, anche nella competizione frontale. Tuttavia, non significa affatto che fosse il gioco giusto da giocare. Immagino che la lezione potrebbe essere riassunta come 'Fai i compiti!'.

Sopra c'erano esempi di cinque anni fa. Aspettatevi di più, sia dagli ultimi cinque anni, ma sicuramente dagli errori futuri.