Entscheidungsintelligenz? Ja bitte.

Ich bin schon seit geraumer Zeit regelmäßiger Medium-Leser und einer der Hauptgründe für meinen Beitritt war für mich der großzügige Austausch hart erarbeiteter Erfahrungen von Menschen.

Ich erinnere mich zum Beispiel an die Lektüre von „Was ich gerne gewusst hätte, bevor ich mich für X entschieden habe“, wobei „X“ eine Technologieentscheidung war, die wir gerade in meinem Unternehmen getroffen hatten. Der Artikel enthielt ein Bild von etwas, das mit hohen Flammen brannte.

Gute Einsichten, die immer mit Vorsicht zu genießen sind und bei denen man sich immer wieder sagen muss: „Okay, sie hatten Pech/zu früh/nicht so schlau.“ Waren anders'. Das hättest du wohl gerne…

Jetzt ist es höchste Zeit für mich, etwas zurückzugeben, vielleicht einigen Lesern einen Einblick oder zumindest das Gefühl zu geben, dass sie nicht allein sind, oder vielleicht sogar das warme Gefühl, viel besser zu sein als dieser Typ und seine Teamkollegen.

Nun zum Klick-Köder-Titel: Alles, was mit „Entscheidungsintelligenz“ zu tun hat, sollte zu Recht bei jedem, der versucht, seinen Lebensunterhalt im Analytics-Bereich zu verdienen, Interesse wecken.

Haftungsausschluss, ich weiß, dieser Text ist nur eine weitere Bestätigung der Bedeutung dessen, was insbesondere Cassie Kozyrkov ( Cassie Kozyrkov ) so gut zum Ausdruck bringt. Wenn Sie wirklich mehr darüber wissen möchten, hören Sie auf, dies zu lesen, und gehen Sie hierher .

Auf geht's.

Die Party ist bereit.

Wir haben jede Menge Daten und Leute, die wirklich gut darin sind, die Daten zum „Singen“ zu bringen, wir haben die Besitzer der Daten, die nichts sehnlicher wollen, als sie auf die Probe zu stellen – um zu sehen, was wir alle daraus machen können. Wir haben Mathe-Zauberer und Hacker, wir haben Geschäftsleute und ein oder zwei „Wir wissen mehr über diesen Bereich als jeder andere“. Wir haben das Drew Conway Venn-Diagramm mehrfach abgedeckt.

Aber wo fängt man an? Unsere ursprüngliche „Arbeitsweise“ bestand zu Zeiten des Datensees darin, zuerst die Daten zu beschaffen und uns dann auf die Suche nach Geschäften zu machen. Das war aus verschiedenen Gründen nicht einfach und ein Thema für sich (Hinweis: Versuchen Sie, Geschäftsinhaber davon zu überzeugen, auf den coolen ML-Zug aufzuspringen, Geschäftsinhaber, die mit früheren BI-Reisen noch nicht besonders zufrieden sind).

Im Laufe der Zeit, nach vielen Kaltakquisen und Missverständnissen, wurden wir besser darin, Geschichten zu erzählen und uns für einen MVP oder zumindest einen POC einzusetzen („POC-Friedhöfe“ wird/sollte hier bei Medium bereits behandelt, wenn nicht, fügen Sie es bitte hinzu – das Hauptgrund für MLOps von heute).

Sprechen Sie mit der richtigen Person.

Offensichtlich, oder? Nicht so einfach. In größeren Unternehmen stehen zwischen einem Analyseteam und dem beabsichtigten Kunden viele Personen. Ich bin mir sicher, dass all diese Leute gebraucht werden, aber als jemand, der mithilfe von Analysen etwas bewirken möchte, müssen wir mit der Person sprechen, die die eigentliche Entscheidung trifft, und mit der/den Person(en), die alle relevanten Details über den Zielbereich kennt /system/prozess/…

In einem Projekt haben wir, ich und mein Data-Science-Kollege, einige Monate (am Ende fast sechs Monate) damit verbracht, Modelle zu entwickeln, um Ausfälle in einem bestimmten Telekommunikationsdienst vorherzusagen. Irgendwann (am Ende) gaben wir eine Demo auf einem internen Analytics-Gipfel, in der wir vorführten, woran wir arbeiteten, und einige coole Deep-Learning-Techniken frisch aus arXiv vorstellten, die wir (wenn überhaupt) gerne bei einigen Projekten ausprobieren würden würde bitte verstehen, wie cool es wäre).

Ein leitender Ingenieur kam vorbei. Er hatte einige Diagramme unseres laufenden Projekts zur vorausschauenden Wartung gesehen. Er war interessiert, da er seit Jahren praktisch mit genau diesem Telekommunikationsdienst arbeitete. Viele. Jahre. Er hatte höflich einige Fragen. Es war klar, dass er uns nicht in Verlegenheit bringen wollte, aber die Fragen waren sehr einfach und ließen uns eindeutig alles andere als cool aussehen.

„Welche Wetterdaten haben Sie verwendet? Sie wissen, dass Schnee einen deutlichen Einfluss auf diese Dinge hat. Ganz zu schweigen von den heißen Sommern, Junge!‘ Auch hier war er einfach nur neugierig, wie jeder gute Ingenieur. Abschließend folgt der Kommentar, der unser Projekt endgültig in Frage stellt: „Sie wissen, dass wir diese Dinge immer mit Backup-Komponenten betreiben, nur für den Fall, dass etwas kaputt geht.“

Was war also hier passiert? Wir haben das Projekt mit einer guten Motivation begonnen: Der Wert der Vorhersage von Ausfällen in diesen Systemen war klar, das wusste jeder. Darüber hinaus gab es Pläne, vielleicht eine Lösung von extern zu kaufen, anstatt sie selbst zu entwickeln.

Wert – prüfen.

Sicherstellen, dass wir die externe Lösung schlagen und unseren Wert für das Unternehmen unter Beweis stellen – ja, das werden wir tun!

Mit der richtigen Person sprechen? Nein, offensichtlich nicht.

Machen Sie die richtige Metrik. Holen Sie sich eine Genehmigung: Ziel, das erreicht werden soll, Verpflichtung zum Handeln, wenn das Ziel erreicht wird.

Ein erstes Warnsignal (im selben Projekt wie oben) war, als wir die Erfolgsmetriken diskutierten. Wir versuchten wirklich, die Zusage der Unternehmen zu bekommen, unsere Vorhersagen für tatsächliche Entscheidungen zu nutzen, und um dorthin zu gelangen, brauchten wir eine vereinbarte Metrik und ein Wert, der dieser Metrik zugeordnet ist.

Das Warnsignal kam bei einem der ersten Treffen, als der externe Anbieter unser Unternehmen mit „sehr hoher Genauigkeit“ beeindruckte. Jetzt. In diesen Umgebungen treten Fehler selten auf (was die Durchführung von Vorhersagemodellen besonders erschwert). Sehr selten. So selten, dass jemand das Standard-Dummy-Modell mitbringen und eine große Genauigkeit erzielen könnte. „Ich sage keine Misserfolge voraus.“ Oh, ich habe eine Genauigkeit von 99 % erreicht, cool!‘. Nein, nicht cool.

In gewisser Weise haben wir uns unseren Platz im Projekt dadurch verdient, dass wir einige Fragen zur richtigen Metrik gestellt haben und so unserem eigenen Unternehmen klar gemacht haben, warum dies ein billiger Trick des Anbieters war.

Jetzt. Haben wir eine Kennzahl und ein zu erreichendes Ziel? Und beruhten diese auf dem tatsächlichen Wert, den es für das Unternehmen bringen würde, wenn Entscheidungen auf der Grundlage unserer Analyse und unserer Daten getroffen würden?

Ja und nein. Es wurde offensichtlich nicht vollständig verstanden und begründet, und schließlich war die Leistung unserer Modelle (übertraf die des Anbieters) nicht hoch genug, um verwendet zu werden. Wir haben dem Unternehmen viel Geld gespart, da wir keine externe Lösung gekauft haben (die ohnehin nicht genutzt worden wäre). Aber wir hätten schon Monate früher aufhören können.

Weitere Beispiele, gleiche Fehler

Im zweiten Beispiel, wenn ich Sie nicht bereits verloren habe, haben wir uns ganz wild darauf eingelassen, eine Reihe von Deep-Learning-Architekturen auszuprobieren, den ganzen (damals) Kram, um bei der Erstellung eines guten Textklassifikators zu helfen (denken Sie an den Kundensupportbereich). ).

Auch hier war der Wert klar und andere (externes Datenwissenschaftsteam) hatten es versucht. Wir könnten es in sehr viel kürzerer Zeit viel besser machen. Wir hatten diese neuen Werkzeuge in unserer Tasche und wollten sie verwenden.

Nochmal. Ja, wir waren viel besser als die Konkurrenz, und ich habe nur einen Bruchteil der Zeit in Anspruch genommen, die sie dafür gebraucht hatten. Wurde es also verwendet?

Nein. Diesmal lag es an eher praktischen Einschränkungen: Ja, wir konnten die Texte in über 40 sinnvolle Gruppierungen einteilen, die für die Servicemitarbeiter alle vollkommen sinnvoll waren. Aber in Wirklichkeit bewegten sich die E-Mail-Threads über Klassen hinweg, und die Serviceleute kümmerten sich (natürlich) um viele Klassen parallel, und – wie so oft – war das Problem, das wir lösten, weit von den Problemen entfernt, die sie zuerst lösen mussten. Wir haben grundsätzlich 240er Schleifpapier vor dem 40er vorgeschlagen.

Und auch in diesem Fall haben wir bis zum Schluss nicht mit den richtigen Leuten gesprochen. Und wieder einmal waren wir uns vorher nicht einig, ob wir das, was wir entwickelt hatten, auch nutzen würden (wenn es gut genug wäre).

Mach deine Hausaufgaben

Vielleicht wäre eine weitere Lektion von oben:

Nur weil andere es früher versucht haben, heißt das nicht, dass das Problem richtig formuliert ist.

In beiden Beispielen erzielten wir bessere Ergebnisse als frühere Teams und auch im direkten Wettbewerb. Das heißt jedoch nicht, dass es überhaupt das richtige Spiel war. Ich schätze, dass man die Lektion wie folgt zusammenfassen könnte: „Mach deine Hausaufgaben!“.

Oben waren Beispiele von vor fünf Jahren. Erwarten Sie mehr, sowohl von den letzten fünf Jahren, aber sicher von zukünftigen Fehlern.