Ibotta travaille à la mise en œuvre de l' architecture Medallion dans notre plate-forme de données depuis début 2021. Le modèle indique simplement que chacun des trois niveaux représente une étape de traitement différente : les données Bronze sont des données brutes capturées et stockées telles quelles auprès des producteurs ; Les données d'argent sont légèrement traitées et optimisées pour l'analyse, la science des données et l'utilisation de l'apprentissage automatique ; et les données Gold sont agrégées à des fins d'analyse et d'utilisation commerciale avec des règles de qualité renforcées appliquées.

Ibotta va plus loin et définit des exigences de gouvernance strictes pour chaque niveau - un ensemble de données Gold n'est pas Gold simplement parce qu'il s'agit d'un agrégat, ou parce que nos équipes exceptionnelles d'analyse et de science des données l'ont construit. Il répond également à une longue liste d'exigences techniques et commerciales, garantissant qu'il est conforme aux attentes de qualité, de résilience et de gouvernance considérablement élevées. Une autre caractéristique unique de notre modèle est l'inclusion d'un quatrième niveau "violet" pour les ensembles de données de production qui fournissent des rapports précis et fiables sur nos performances, notre comportement et/ou nos besoins opérationnels, mais n'exigent pas nécessairement la rigueur nécessaire à la certification d'un Gold. base de données.

Cet article décrira quelles sont les spécifications des données Gold et pourquoi elles sont importantes, ainsi que le rôle de chaque organisation dans la production de ces données.

Définition & raisonnement

Les ensembles de données éligibles à la certification de niveau Gold chez Ibotta sont des tableaux critiques pour l'entreprise que notre équipe de direction, les auditeurs, les utilisateurs professionnels et certains partenaires externes voient. Cela inclut, mais sans s'y limiter, les ensembles de données qui sont considérés comme la source de vérité pour les rapports financiers et les dépôts réglementaires .

Les données certifiées Gold, ou simplement les « données Gold » en abrégé, sont strictement régies. Cela signifie qu'il est hautement fiable, minutieusement contrôlé et documenté, et étroitement surveillé (nous en reparlerons plus tard). Les utilisateurs professionnels devraient idéalement utiliser ces données pour la plupart de leur travail quotidien. Les utilisateurs externes doivent, à quelques exceptions près, utiliser ces données exclusivement.

Ces ensembles de données doivent être utilisés pour au moins un utilitaire critique. En raison du niveau d'effort élevé nécessaire pour les certifier comme étant de qualité Gold, il doit y avoir une bonne raison de les soumettre à cette rigueur. De plus, ils doivent être suffisamment complets pour que l'entreprise puisse les utiliser pour répondre à ses propres questions sans soutien supplémentaire de nos équipes techniques dans la majorité des cas.

Les raisons d'avoir des attentes claires pour ces tableaux devraient être assez évidentes : l'entreprise doit à ses parties prenantes et à ses employés de faire des choix judicieux, bien justifiés et bien documentés. Nous sommes mieux équipés pour le faire lorsque la qualité de nos données de base est garantie. La certification est donc obligatoire chez Ibotta pour tout ensemble de données utilisé pour prendre des décisions stratégiques et commerciales de haut niveau ayant un impact sur la valeur.

Exigences

Selon notre définition, les données sur l'or sont, en termes simples, des données extrêmement bien gérées qui répondent à nos questions commerciales les plus importantes. Cela signifie qu'ils sont garantis :

• Sécurisé : suivez le principe du moindre privilège lorsque les règles de conformité l'exigent et sont conservés aussi longtemps que nécessaire pour les besoins réglementaires et opérationnels
• Correct : les résultats sont prévisibles, reproductibles et éprouvés pour décrire avec précision le comportement du système qui les produit
• En temps opportun : livrés de manière fiable pendant la fenêtre de temps où ils offrent le plus de valeur
• Accessible : modélisé de manière intuitive pour les utilisateurs finaux qui n'ont peut-être pas (et ne devraient pas avoir) une compréhension complète de la façon dont les données sont produites, et accessibles via des interfaces conviviales
• Rentable : génère plus de valeur pour l'entreprise que ce qu'elle coûte, y compris les coûts du cycle de vie, de la collecte des exigences à la maintenance
• Auditable : des mécanismes solides sont en place pour garantir que les normes ci-dessus sont respectées. La lignée des données et l'historique des modifications sont documentés et faciles à suivre

L'engagement envers une excellente gouvernance des données devrait indiquer qu'Ibotta considère ces ensembles de données comme des produits de données clés plutôt que comme des réflexions après coup. L'industrie a souvent traité les données comme des gaz d'échappement - un sous-produit qui est trop cher ou difficile à gérer, donc il est enterré dans une installation souterraine de gestion des déchets nucléaires jusqu'au jour où un malheureux data scientist doit passer des nuits tardives et des milliers de dollars à le déterrer pour résoudre un problème commercial existentiel. Au lieu de cela, nous utilisons nos données de manière proactive pour identifier et résoudre ces problèmes avant qu'ils ne conduisent à un effondrement. Toutes les facettes de gouvernance ci-dessus sont nécessaires pour bien faire cela, et nous nous attendons à ce que tous les membres de l'entreprise participent à cet effort.

Nos équipes de données ont développé une liste complète et spécifique de spécifications techniques et de règles commerciales pour garantir que nos ensembles de données de base respectent ces normes (nous n'entrerons pas dans les détails ici). Ce que vous devez savoir, c'est que la mise en œuvre de ces normes est un effort interfonctionnel qui inclut des équipes sur l'ensemble du spectre de l'entreprise, et pas seulement des équipes de données.

Responsabilités

La réponse idéale à la question de la propriété des jeux de données Gold est que ceux qui sont les plus proches de la logique métier sont responsables de sa maintenance (conformément au paradigme de plus en plus populaire du Data Mesh ) . La vraie réponse est plus complexe : tout le monde, de l'ingénierie à l'analyse en passant par le produit, a un rôle important à jouer pour s'assurer qu'un ensemble de données Gold est conforme aux spécifications.

Les données sur l'or ne sont pas seulement un produit. C'est un paradigme culturel auquel tout le monde doit participer pour que nos efforts soient couronnés de succès.

Les articles suivants décriront les attentes spécifiques pour chacun des groupes ci-dessous, mais voici l'essentiel :

• Ingénierie* : produire et surveiller des données bien modélisées et éprouvées qui respectent les contrats de données définis en collaboration avec les consommateurs de données
• Ingénierie de la plate-forme de données** : fournissez des mécanismes intuitifs et fiables pour capturer les données produites par les systèmes en amont, stockez ces données correctement et créez des outils efficaces pour que les parties prenantes découvrent et accèdent à ces données en toute sécurité. La majorité des outils de gouvernance est construite et maintenue par cette équipe
• Analytique et science des données : collaborer avec les producteurs et les parties prenantes pour concevoir, mettre en œuvre et maintenir des ensembles de données efficaces qui répondent aux questions commerciales critiques et fournir des interfaces qui permettent aux utilisateurs finaux de les exploiter efficacement
• Product & Business Operations : utiliser l'expertise du domaine en collaboration avec des collègues techniques pour développer des ensembles de données, des modèles et des tableaux de bord qui répondent à une variété de besoins pour les années à venir, et communiquer de manière proactive lorsque ces besoins changent

** L'ingénierie de la plate-forme de données chez Ibotta comprend les équipes d'ingénierie des données, d'ingénierie analytique et d'apprentissage automatique/MLops qui se spécialisent dans divers domaines de notre logiciel de plate-forme de données

Les données sur l'or ne sont pas seulement un produit. C'est un paradigme culturel auquel tout le monde doit participer pour que nos efforts soient couronnés de succès. Les articles suivants discuteront de la manière dont Ibotta relève les défis techniques substantiels de la maturation de notre écosystème de données existant, ainsi que du rôle de chaque organisation pour répondre aux attentes élevées que nous nous sommes fixées.

Données non critiques (mais importantes !)

Bien sûr, comme nous l'avons mentionné précédemment, nous n'exigeons que des contrôles de niveau Gold pour les ensembles de données critiques pour l'entreprise. Mais cela ne signifie pas que toutes les autres données que nous produisons ne doivent pas également répondre à des attentes de qualité élevées.

L'approche d'Ibotta vis-à-vis de l'architecture Medallion spécifie un niveau supplémentaire pour les données qui sont importantes pour l'entreprise, mais qui n'influent pas nécessairement sur la prise de décision à l'échelle de l'entreprise. Nous appelons cette catégorie le niveau violet , et elle comprend des ensembles de données agrégées qui peuvent ou non mériter la rigueur appliquée lors du développement des données Gold telles que nous les avons définies ci-dessus. Les ensembles de données violets peuvent être créés à l'aide de données argentées, dorées et d'autres données violettes.

Toutes les spécifications indispensables pour les ensembles de données Gold sont des spécifications indispensables pour les ensembles de données Purple.

Tous les outils que nous utilisons pour créer des jeux de données Gold sont également disponibles pour créer des jeux Violet. En fait, nous encourageons les producteurs d'ensembles de données à tous les niveaux à utiliser ces outils et méthodologies dans la mesure du possible pour leur projet. Ils sont conçus pour rendre la production de données de haute qualité aussi rapide et simple que possible, en plus de faciliter généralement le travail des équipes de données. De plus, si un jeu de données Purple atteint finalement le niveau d'importance qu'il devrait être certifié Gold, la transition devient beaucoup plus facile s'il a été en grande partie construit selon la norme en premier lieu.

Cela dit, la simple différence est qu'à l'exception des exigences de sécurité (qui sont obligatoires), toutes les spécifications indispensables pour les ensembles de données Gold sont des spécifications indispensables pour les ensembles de données Purple . Les producteurs peuvent créer des ensembles de données non critiques avec le degré de gouvernance qui convient à ce cas d'utilisation.

Et après

Les équipes qui pilotent cette initiative travaillent dur pour développer les outils et les processus nécessaires pour répondre facilement à ces normes. Nous avons consacré les deux dernières années à jeter les bases de cette transition ; nous consacrons l'année prochaine (et au-delà) à la construction d'outils de route pavée pour créer des ensembles de données de référence et à faire évoluer la culture d'Ibotta pour représenter un exemple brillant d'excellente gouvernance des données. Attendez-vous à plus d'articles de l'équipe de données d'Ibotta avec des détails sur ce à quoi cela ressemble dans la pratique bientôt.

Intéressé à travailler chez Ibotta? Consultez notre page carrières !