Datenteams werden manchmal gebeten, der Geschäftsleitung ihren ROI nachzuweisen, um ein Budget für Neueinstellungen, Tools, Projekte oder Prozessänderungen zu rechtfertigen. Aber die Arbeit von Datenteams ist von Natur aus nicht messbar . Der Grund für diese ROI-Frage liegt oft nicht im Mangel an geeigneten Kennzahlen, sondern vielmehr im Mangel an Vertrauen und Beziehungen zu den Stakeholdern.

Sollten Sie den ROI des Datenteams messen? Wenn ja, welche Kennzahlen sind eine Überlegung wert? Dieser Beitrag fasst die wichtigsten Argumente aus mehreren Blog-Beiträgen, Podcasts , Diskussionen aus Daten-Communities und meinen Erfahrungen zusammen.

Argumente gegen die Messung

Die meisten Datenteams arbeiten als Supportfunktion. Sie helfen anderen Teams, Entscheidungen zu treffen und effizienter zu arbeiten, ihre Beteiligung an der Wertschöpfung erfolgt jedoch indirekt . Sie können die Auswirkungen einer neuen Tabelle, eines neuen Dashboards oder einer neuen Pipeline nicht direkt quantifizieren ( insbesondere im Voraus ) .

Die Verbesserung Ihrer Datenmodelle oder Dateninfrastruktur führt nicht sofort zu finanziell messbaren Ergebnissen im Zusammenhang mit dem Kern Ihres Unternehmens. Das bedeutet nicht, dass diese Verbesserungen keinen Wert haben. Aber was wertvoll ist, ist nicht unbedingt das, was geschätzt wird . Datenteams erhalten oft keine Anerkennung für ihre Arbeit, nicht weil sie schlechte Arbeit leisten, sondern weil die Unternehmenskultur Datenarbeit unabhängig von ihrer Qualität oder Quantität nicht wertschätzt.

In solchen Situationen liegt das zugrunde liegende Problem nicht in einer mangelnden ROI-Messung, sondern in einem Mangel an Vertrauen. Anstatt nach der perfekten Kennzahl zu suchen, müssen sich Datenteams langsam an die Arbeit machen , indem sie kontinuierlich Geschäftsprobleme lösen, das Vertrauen der Stakeholder gewinnen und die Kultur und Prozesse schrittweise verbessern.

Eine Alternative zu langsamen kulturellen Veränderungen wäre die Einstellung eines Produktmanagers , dessen Verantwortung darin besteht, der Geschäftsleitung den Wert dieses Teams zu vermitteln, Erwartungen zu verwalten und die Ergebnisse dieses Teams in Geschäftsergebnisse umzusetzen. So wie Entwicklungsteams ihren ROI nicht nachweisen müssen, sollten dies auch Datenteams nicht nachweisen müssen – ein dedizierter PM könnte dafür sorgen, dass sich das Team auf wichtige Aufgaben konzentriert und nicht auf unsichtbare und schwer messbare Ad-hoc-Anfragen.

Eine andere Möglichkeit besteht darin, Ihre Stakeholder Ihre ROI-Geschichte erzählen zu lassen . Andere Abteilungen sollten abschätzen, wie viel Wert ihnen das Datenteam geliefert hat. Wenn sich herausstellt, dass Ihre Stakeholder die Datenarbeit nicht genug wertschätzen, um Sie bei der Genehmigung des Budgets zu unterstützen, deutet dies auf ein tiefer liegendes organisatorisches Problem hin, das sich als Bedarf an Kennzahlen tarnt.

Erwägenswerte Kennzahlen

Nehmen wir an, dass Sie diese Argumente gegen die Messung vorgebracht haben, die Führung jedoch weiterhin erwartet, dass Sie Möglichkeiten finden, die Auswirkungen des Datenteams zu quantifizieren.

Wenn Sie das Glück haben, dass die Arbeit Ihres Teams direkt mit der Wertschöpfung verknüpft werden kann ( Daten sind der Kern Ihres Unternehmens ), sind dies gute Kennzahlen für den Anfang:

Wenn Ihr Datenteam jedoch als Supportfunktion fungiert , müssen Sie herausfinden, was für Ihr Unternehmen und den Zustand der Dateninfrastruktur des Unternehmens messbar ist. Wenn Sie für ein Start-up-Unternehmen in der Anfangsphase arbeiten ( ständig gegen Probleme vorgehen ) oder auf der anderen Seite des Spektrums arbeiten – einer langsamen Unternehmensumgebung ( Reparatur defekter Legacy-Pipelines ), sehen Ihre Kennzahlen möglicherweise anders aus als die von dezentralen Teams mit gut etablierten Beziehungen zu bestimmten Unternehmen Geschäftsfunktionen.

Bevor Sie mit der Suche nach der richtigen Metrik beginnen können

Sie müssen zunächst herausfinden, wer Ihr Kunde und die zugehörigen Stakeholder sind , was sie tun und was ihnen am Herzen liegt, was sie von Ihnen erwarten und wie Daten ihnen einen Mehrwert bieten können .

Beispielsweise kann die Verbesserung der Zuverlässigkeit von Datenpipelines und die Behebung zugrunde liegender Datenqualitätsprobleme das ultimative Ziel eines Datenteams sein. Sie können dieses Ziel als Ausgangspunkt für die Abstimmung einer Wert- und Fortschrittsmessung mit den von diesen Problemen betroffenen Stakeholdern verwenden. Auch wenn sich diese möglicherweise nicht direkt auf das Endergebnis auswirken, können sie indirekt helfen, indem sie Prozesse und betriebliche Effizienz verbessern, Zeit oder Infrastrukturkosten sparen und mehr Vertrauen in Daten und Ihre Arbeit gewinnen. Indem Sie zunächst aufschreiben, was jede Seite erwartet, können Sie mit den Stakeholdern klären, wie die Datenarbeit zu inkrementellen Prozessänderungen beiträgtOhne die Beteiligung des Datenteams wäre das nicht möglich gewesen.

Weitere Aspekte, die bei der Festlegung der geeigneten Wertmetrik mit Stakeholdern aus anderen Abteilungen berücksichtigt werden sollten:

• Welche Granularität und welcher Zeithorizont für Ihre Metrik geeignet sind
• Wie wird dieser Messwert erfasst und verfolgt ?
• Wie wird der Prozess zur Überprüfung und Verbesserung dieser Metrik ablaufen? Metriken sollten einem Zweck dienen, und Sie müssen sie wiederholen , um sicherzustellen, dass Sie immer noch an der richtigen Metrik arbeiten .

Das Finden der richtigen Kennzahl ist eine Herausforderung, da Sie das Unternehmen kennen müssen, um herauszufinden, was gemessen werden soll. Es gibt auch viele nicht messbare Aspekte, wie zum Beispiel ein durch Daten ermöglichtes besseres Verständnis des Geschäfts – das Wissen, was neue Leads und Umsätze antreibt und was es nicht wert ist, Prioritäten zu setzen oder in was zu investieren. Fehlentscheidungen, die durch die Betrachtung von Daten hätten verhindert werden können, sind ähnlich schwierig quantifizieren.

Eine Metrik, die in solchen Situationen hilfreich sein könnte, ist das von Benn Stancil vorgeschlagene Time-to-Decision- Framework . Der Rahmen ist einfach: Die Leistung eines Datenteams wird daran gemessen, wie schnell Entscheidungen getroffen werden. Je schneller, desto besser ist Ihre Leistung. Oder wie Benn es ausdrückte:

„Ignorieren Sie alle Unklarheiten rund um die Messung der analytischen Qualität und des ROI und tun Sie alles, was nötig ist, um andere entscheidungsfreudiger zu machen.“

Eine weitere geschäftsorientierte Messung besteht darin, Datenziele mit den OKRs des Unternehmens zu verknüpfen , wenn es möglich ist, diese Ziele aufeinander abzustimmen. Dieser Ansatz macht deutlicher, wie sich die Arbeit des Datenteams auf die funktionalen Ergebnisse auswirkt.

Einige andere erwägenswerte Kennzahlen sind:

• Zeitersparnis – In vielen Unternehmen gilt Zeit als das wertvollste Gut; Wenn Sie der Organisation dank der Effizienz Ihrer Plattform und einem schnelleren Zugriff auf Daten mehrere Stunden zurückgeben können , besteht das Potenzial für Kosteneinsparungen, verbesserte Prozesse und eine allgemeine Mitarbeiterzufriedenheit ( Arbeiten an sinnvollen Projekten, nicht an sich wiederholenden Aufgaben ); Beispiele für solche Ergebnisse sind kürzere Erkenntnisse oder die Möglichkeit, durch Parallelität und bessere Infrastruktur mehr ML-Experimente im gleichen Zeitrahmen durchzuführen – allesamt messbare Ergebnisse.
• Kosten senken – Dies lässt sich möglicherweise an Kosteneinsparungen messen, die durch die Abschaffung nicht mehr benötigter Tools, die Migration auf kostengünstigere Tools, Verbesserungen der Abfrageleistung, die die Rechenkosten senken, usw. entstehen.
• Operative Effizienz – Effizienzgewinne können durch Zeitersparnis dank Automatisierung und einfacherem Zugriff auf Daten oder Erkenntnisse ohne Hin- und Her-Kommunikation ausgedrückt werden.

• Datenqualität – Während die Verbesserung der Datenqualitätsmetriken als Ziel für das Datenteam im Allgemeinen hilfreich ist, ist die Messung der Datenqualität selbst schwierig. Quellsysteme unterbrechen häufig Pipelines aufgrund von Schemaänderungen. Wenn Sie dies als Metrik verwenden, würde dies auf eine nachlassende Leistung eines Datenteams hinweisen, obwohl die Datenqualität der Quellsysteme außerhalb Ihrer Kontrolle liegt
• Zufriedenheitsrate mit dem Zugriff auf Daten – diese Messung kann eine nützliche Heuristik sein, um zu bestimmen, wie verschiedene Interessengruppen die Arbeit mit Datenteams wahrnehmen. Der Nachteil dieser Frage besteht jedoch darin, dass sie durch persönliche Vorurteile beeinflusst werden kann. Man könnte diese Frage eher als Maß für die Sympathie denn als tatsächliche Leistung des Datenteams betrachten und daher nicht repräsentativ für die geleistete Arbeit sein.

Neben den oben besprochenen Kennzahlen können Sie auch quantitative Kennzahlen in Betracht ziehen, die sich auf Produktivität und Leistung konzentrieren , wie zum Beispiel:

1. Anzahl erfolgreicher oder fehlgeschlagener Datenpipelines
2. Anzahl der Projekte , die gemäß dem geplanten Zeitplan abgeschlossen wurden
3. Anzahl der getroffenen Entscheidungen
4. Anzahl der unterstützten datengestützten Anwendungen , Dashboards , Tabellen , integrierten Quellsysteme und eingeführten Datenprodukte

1. Der Ausfall einer Datenpipeline liegt oft außerhalb unserer Kontrolle; Ebenso würde es dem Unternehmen in keiner Weise helfen, einen Workflow in mehrere kleinere zu unterteilen, um erfolgreichere Pipelines anzuzeigen ( um die Metrik zu manipulieren ).
2. Die Projektplanung hängt vom Umfang, den Anforderungen, Einschränkungen und vielen organisatorischen Aspekten ab – keiner davon sollte darüber entscheiden, ob wir die Datenarbeit als wirkungsvoll oder wertvoll erachten; Oft ist ein gescheitertes Projekt ein Erfolg, weil es beweist, dass es sich nicht lohnt, etwas ( z. B. ein Greenfield-Projekt ) weiterzuverfolgen.
3. Die Anzahl der Entscheidungen ist zu willkürlich – ein großes Projekt könnte als eine einzige Entscheidung betrachtet werden. Ziehen Sie jedoch ein datengesteuertes Empfehlungssystem in Betracht, bei dem jede Empfehlung auch als eine Entscheidung betrachtet werden kann. Das System empfiehlt möglicherweise die zu nehmende Route und der Benutzer trifft eine Entscheidung ( z. B. Route B nehmen ); Um die Anzahl der Entscheidungen als Maß verwenden zu können, müsste diese Zahl normalisiert und standardisiert werden.
4. Nutzungsmetriken , wie z. B. die Anzahl der von Ihnen erstellten Tabellen, zeigen eher die Produktivität als die Auswirkung oder den Wert an . Diese können zur Nachverfolgung nützlich sein, aber eine größere Anzahl von Tabellen oder Dashboards ist nicht gleichbedeutend mit einer besseren Analysearbeit – oft ist weniger mehr.

Es gibt keine einheitliche Antwort, keine Zauberformel und keine einzelne Kennzahl, die für alle gilt. Metriken können den Aufbau von Vertrauen unterstützen , sie allein reichen jedoch nicht aus.

Wie immer liegt die Wahrheit irgendwo dazwischen: Die Geschäftsleitung sollte die Arbeit Ihres Teams wertschätzen, ohne sie beweisen zu müssen, aber wenn Sie es beweisen müssen, seien Sie darauf vorbereitet. Zeigen, nicht erzählen. Zeigen Sie, was Ihr Team geleistet hat und wie es in der Vergangenheit geschäftliche Probleme gelöst hat. Zeigen Sie die Auswirkungen inkrementeller Prozessänderungen auf, die ohne die Beteiligung dieses Teams nicht möglich gewesen wären. Zeigen Sie, was Sie zum Besseren verändert haben – wie Geld und Zeit gespart wurden und wie sich die betriebliche Effizienz verbessert hat. Und für welche Metrik Sie sich auch entscheiden, wiederholen Sie sie – lassen Sie nicht zu, dass das Perfekte der Feind des Guten ist.

Am Ende müssen Sie sich die Mühe machen, Ihr Verständnis des Unternehmens immer weiter zu verfeinern, um beurteilen zu können, welche Kennzahlen erforderlich und welche hilfreich sind.