W Oda własność rozproszonych danych, wspólne zarządzanie danymi to jedna z sześciu zasad tworzenia wartości z danych . Ta zasada była kluczem do naszego sukcesu w skalowaniu danych i wglądu z jednego zespołu pizzerii do sporej dyscypliny oraz w przesuwaniu granic tego, co jest możliwe, gdy dane spotykają się z rzeczywistymi problemami w internetowej przestrzeni spożywczej. W tym poście zagłębimy się w to, co rozumiemy przez rozproszoną własność danych, wspólne zarządzanie danymi i jak rozwiązaliśmy ten problem w praktyce.

Dane to zdolność, a nie funkcja

Większość naszych analityków danych, naukowców zajmujących się danymi i niektórzy inżynierowie danychpracować w ramach wielofunkcyjnych zespołów produktowych z inżynierami oprogramowania, menedżerami produktu, projektantami UX i ekspertami domenowymi (takimi jak specjaliści ds. logistyki, handlu i wzrostu) w różnych częściach naszej organizacji. Wspólne lokalizowanie umiejętności związanych z danymi i problemów z domeną to tylko pierwszy krok — chcemy również umożliwić naszym zespołom samodzielne i szybkie poruszanie się w celu rozwiązywania bieżących problemów, a tutaj ważną rolę odgrywa własność rozproszona. Zainspirowani koncepcją siatki danych, powierzyliśmy większość odpowiedzialności za dane różnym zespołom produktowym, które przejmują pełną własność „wszystkich danych” w swojej domenie biznesowej. Zespoły są wspierane przez centralne zespoły platform, które zapewniają platformy i usługi wspomagające, takie jak infrastruktura, narzędzia, wytyczne i szkolenia, których każdy potrzebuje, aby wydajnie pracować z danymi.

W praktyce oznacza to, że każdy zespół odpowiada za cały łańcuch wartości danych w swojej domenie. Obejmuje to wszystko, od produkcji i pozyskiwania danych, potoków danych i produktów, a także tematy takie jak umiejętność korzystania z danych i sposób, w jaki podejmujemy działania na podstawie wglądu. W Oda dane to zdolność, a nie funkcja. Nie mamy centralnego zespołu ds. danych, który rozwiązuje „wszystkie problemy z danymi”. To zależy od każdego zespołu.

W Oda dane to zdolność, a nie funkcja. Nie mamy centralnego zespołu ds. danych, który rozwiązuje „wszystkie problemy z danymi”. To zależy od każdego zespołu.

Zespoły produktowe to nowe zespoły danych

W następnych sekcjach użyjemy zespołu dostarczającego jako przykładu działania rozproszonej własności. Zespół jest częścią naszej misji zapewniania najbardziej bezproblemowej dostawy na świecie, a analitycy danych współpracują z inżynierami oprogramowania, menedżerem produktu, projektantami i specjalistami ds. dystrybucji, aby tak się stało. Zespół jest odpowiedzialny za takie kwestie, jak zarządzanie pojazdami, personel na trasach i zwroty od klientów, a także tworzy i obsługuje technologię i aplikacje obsługujące te procesy.

Obowiązki zespołu takiego jak Dostawa w modelu własności rozproszonej można podsumować w sześciu punktach:

• Twórz i udostępniaj dane z aplikacji
• Zapewnij łatwy dostęp do danych dla siebie i innych
• Twórz i uruchamiaj potoki danych
• Twórz produkty związane z danymi i zarządzaj nimi
• Stymuluj rozwój produktów dzięki danym
• Włącz zespoły i osoby, które wspierają

Twórz i udostępniaj dane z aplikacji

Najważniejszymi źródłami danych dla zespołu dostarczającego są tworzone i uruchamiane przez niego aplikacje. Przykładem może być aplikacja mobilna, z której kierowcy korzystają podczas realizacji dostaw, oraz aplikacja wykorzystywana przez dyspozytornię do planowania, monitorowania i wspomagania kierowców na trasach. Tworząc i uruchamiając własne źródła danych, zespół ma pełną kontrolę nad tym, co, jak i kiedy dane są generowane. Analitycy danych będą współpracować z inżynierami oprogramowania, aby upewnić się, że właściwe dane są przechowywane we właściwym formacie w systemach źródłowych oraz że odpowiednie dane zdarzeń są śledzone w aplikacjach. Jest to „przesunięcie w lewo” w zakresie danych dla zespołów produktowych: dane są częścią każdego etapu procesu projektowania i tworzenia, a nie refleksją. Problemy z jakością danych są eliminowane w zarodku, zamiast piętrzyć się na dole listy zadań.

Jest to „przesunięcie w lewo” w zakresie danych dla zespołów produktowych: dane są częścią każdego etapu procesu projektowania i tworzenia, a nie refleksją. Problemy z jakością danych są eliminowane w zarodku, zamiast piętrzyć się na dole listy zadań.

Zapewnij łatwy dostęp do danych dla siebie i innych

Każdy zespół jest również odpowiedzialny za udostępnienie i interoperacyjność swoich danych innym zespołom. Nie byłoby to możliwe bez zespołów platformowych wspierających zespoły produktowe współdzieloną infrastrukturą, narzędziami i wytycznymi. W Oda używamy Fivetran do wsadowego pozyskiwania danych transakcyjnych i Snowplow do danych zdarzeń z sieci, aplikacji i po stronie serwera, a wszystkie dane są umieszczane w naszym magazynie danych, Snowflake. W Snowflake dane są udostępniane innym zespołom do wyszukiwania i budowania na nich, dzięki czemu mogą współpracować z danymi z innych zespołów i domen. Na przykład analitycy danych w dostarczaniu są odpowiedzialni za pobieranie danych wygenerowanych w procesie zarządzania pojazdami i tworzenie regularnych migawek zestawów danych, które chcemy zachować w historii.

Aby zapewnić interoperacyjność danych w całym naszym stosie spostrzeżeń, postępujemy zgodnie ze wspólnymi wytycznymi dotyczącymi ustawiania nazw i struktur danych. W ten sposób zapewniamy, że dane z różnych zespołów i domen mogą być używane razem w różnych warstwach logicznych w Snowflake oraz w warstwie semantycznej (eksploracyjnej) w Looker.

Twórz i uruchamiaj potoki danych

Surowe dane bardzo rzadko są dostarczane we właściwym kształcie i kontekście, których potrzebujemy do celów analitycznych. W związku z tym ważną częścią pracy naszych analityków danych, naukowców i inżynierów jest budowanie transformacji danych i transformacji łańcuchowych w potokach, które mają być uruchamiane w regularnych odstępach czasu. Używamy dbt do przekształcania danych w format schematu gwiaździstego i szerokie zestawy danych, które są używane do analizy biznesowej, analiz ad hoc i danych wejściowych do modeli uczenia maszynowego. Nasze zespoły ds. platform dbają o to, aby każdy zespół miał narzędzia, szkolenia i wsparcie potrzebne do zarządzania każdym aspektem swoich potoków danych. Kilka przykładów rzeczy, do których mają dostęp wszystkie zespoły:

• Oddzielny kanał Slack, w którym są powiadamiani, gdy coś jest wyłączone lub zepsute w ich potokach.
• Pulpit nawigacyjny kosztów, w którym uzyskują przegląd wydatków na płatki śniegu w swoich potokach i najgorszych zadań dbt.
• #data-platform-support Kanał Slack, w którym mogą kontaktować się z inżynierami danych w celu uzyskania pomocy w zadaniach takich jak dostrajanie wydajności.

Analitycy danych w dostarczaniu mają wyjątkową możliwość zrozumienia, w jaki sposób dane mogą mieć wpływ na domenę dostarczania, i mają umiejętności tworzenia produktów danych, które odpowiadają specyficznym potrzebom i możliwościom obszaru dostarczania. Szczegółowo omówimy produkty związane z danymi w kolejnym artykule, ale na razie załóżmy, że produktem związanym z danymi może być wszystko, od hurtowni danych w Snowflake, eksploracji Looker, po model uczenia maszynowego i wiele rzeczy w między. Najważniejsze jest to, że zespół bierze pełną odpowiedzialność za odkrywanie, budowanie, uruchamianie i zarządzanie odpowiednimi produktami danych, tworzenie portfolio produktów danych oraz upewnianie się, że produkty te są odpowiednio wdrażane i operacjonalizowane.

Stymuluj rozwój produktów dzięki danym

W każdym wydajnym zespole produktowym dane będą na pierwszym planie podczas odkrywania, tworzenia i zarządzania wspaniałymi produktami. Posiadanie odpowiednich danych i produktów związanych z danymi to tylko niewielka część tego, czego potrzeba, aby działać na tym poziomie. Równie ważne jest posiadanie odpowiednich kompetencji, kultury, ram, wskaźników i sposobu pracy. Będzie to oznaczać różne rzeczy dla różnych ról w każdym zespole:

• Menedżer produktu spędzi dużo czasu na przeglądaniu i analizowaniu metryk produktowych zespołu oraz ich wpływu na metryki biznesowe. Dla menedżera produktu w dziale dostawy czas załadunku trasy i dostawy na czas to przykłady wskaźników, które należy śledzić i rozumieć. W przypadku zespołów, które opierają się na częściach naszego produktu skierowanych do klientów, bardziej odpowiednie są takie wskaźniki, jak współczynniki klikalności, współczynniki konwersji, głębokość przewijania i wyniki najnowszych eksperymentów. Ponieważ używamy celów i kluczowych wyników (OKR) w celu dostosowania strategii do realizacji zespołu , kierownik produktu będzie również chciał mierzyć i analizować postępy w kierunku kluczowych wyników w okresie OKR.
• Inżynierowie oprogramowania upewnią się, że ich aplikacje są odpowiednio oprzyrządowane i zbudują flagi śledzenia i funkcji w każdej części aplikacji i we wszystkich nowych funkcjach. Dzięki temu zespół może przeprowadzać eksperymenty i stopniowe wdrażanie, aby zrozumieć, kiedy zmiany w produkcie nie są tak przydatne, użyteczne lub skuteczne, jak myśleliśmy, oraz zminimalizować wpływ błędów i złego kodu. Będą również uważnie śledzić wskaźniki techniczne, takie jak czas ładowania, przestoje i średni czas odzyskiwania, aby mieć pewność, że zawsze poprawiamy jakość kodu.
• Projektant UX będzie zainteresowany połączeniem wniosków z badań jakościowych z danymi ilościowymi dotyczącymi faktycznego zachowania naszych klientów. Będą konfigurować i przeprowadzać eksperymenty, aby upewnić się, że wszelkie założenia zostaną przetestowane i zweryfikowane, oraz zagłębią się w dane dotyczące różnych segmentów klientów.
• Analitycy danych, naukowcy i inżynierowie są tam głównie po to, aby ułatwić ten sposób pracy. Będą wspierać zespół, tworząc przydatne produkty oparte na danych, pomagając w konfigurowaniu eksperymentów i analizowaniu wyników, trenując i szkoląc w zakresie analizowania danych oraz prawie we wszystkim, czego zespół potrzebuje do napędzania rozwoju produktu za pomocą danych. Aby dowiedzieć się więcej o trzech różnych rolach i ich typowych zadaniach, zapoznaj się z naszymi trzema rolami w Data & Insight w Oda .

Należy zauważyć, że chociaż analitycy danych, naukowcy i inżynierowie są „specjalistami od danych” w zespole, własność rozproszonych danych jest obowiązkiem zespołu, a nie czymś, co dotyczy tylko części zespołu.

Włącz zespoły i osoby, które wspierają

Inną z naszych zasad jest przedkładanie możliwości nad przekazywanie zadań . W naszym przykładzie oznacza to, że zespół dostarczający będzie pracował nad rozwijaniem umiejętności korzystania z danych, podnoszeniem umiejętności swoich współpracowników w zakresie zagadnień związanych z danymi, narzędzi i metodologii oraz zapewni im mentoring i coaching, których potrzebują, aby byli samoobsługowi i byli w stanie rozwiązywać większość własnych problemów. codzienne problemy. Wiele naszych zespołów produktowych, w tym Delivery, jest również odpowiedzialnych za wspieranie zespołów operacyjnych. Współpracownicy to więc nie tylko członkowie własnego zespołu, ale także osoby odpowiedzialne za zarządzanie kierowcami, kontrolę placu i tak dalej.

Do pewnego stopnia braki w zakresie umiejętności korzystania z danych i kompetencji można zrekompensować, dostarczając bardziej wyrafinowane produkty z zakresu danych: nie każdy jest w stanie zbudować potrzebny pulpit nawigacyjny, a następnie analityk danych może go dla nich zbudować. Wyzwanie polega na znalezieniu równowagi między tym, komu i ile umożliwić, a tym, co i ile zbudować. Idealnie byłoby, gdyby nasi analitycy danych, naukowcy i inżynierowie spędzali większość czasu na zadaniach o wysokim stopniu dźwigni, które naprawdę wymagają ich pełnego zestawu specjalistycznych umiejętności, a mniej na zadaniach, które przy pewnych możliwościach mogłyby być wykonywane przez innych. Niezależnie od tego, kto zbuduje te pulpity nawigacyjne, zespół jest odpowiedzialny za upewnienie się, że obsługiwane przez niego obszary mają dobrze zdefiniowaną, spójną i holistyczną strukturę pulpitów nawigacyjnych. odpowiedzialność zespołu.

Idealnie byłoby, gdyby nasi analitycy danych, naukowcy i inżynierowie spędzali większość czasu na zadaniach o wysokim stopniu dźwigni, które naprawdę wymagają ich pełnego zestawu specjalistycznych umiejętności, a mniej na zadaniach, które przy pewnych możliwościach mogłyby być wykonywane przez innych.

Umożliwienie jest również ważne podczas operacjonalizacji modeli uczenia maszynowego tworzonych przez naszych naukowców zajmujących się danymi. Aby nasze operacje mogły podejmować dobre decyzje dotyczące personelu w oparciu o wyniki naszych modeli prognozowania sprzedaży i popytu, potrzebują dobrego zrozumienia podstawowych mechanizmów oraz danych wejściowych modeli, założeń, mocnych i słabych stron.

Podsumowując nasz przykład, Delivery odpowiada za każdy aspekt tworzenia wartości z danych w domenie dostarczania, a to znacznie wykracza poza prowadzenie własnych potoków danych. Ta sama konfiguracja dotyczy każdego innego zespołu produktowego w Oda i zasadniczo jest tym, co rozumiemy przez rozproszoną własność.

Wspólne zarządzanie: rozwiązania na rzecz spójności i harmonii

Dystrybuując własność „wszystkich danych”, umożliwiamy wszystkim naszym zespołom autonomiczne i szybkie poruszanie się. Chociaż cenimy sobie wolność i autonomię naszych zespołów, uważamy również, że ważne jest dostosowanie niektórych aspektów naszej praktyki związanej z danymi. Zapewnienie holistycznego doświadczenia użytkownika w Lookerze, używanie tych samych nazw dla tych samych koncepcji danych oraz używanie tych samych technik modelowania danych i standardów kodowania to przykłady rzeczy, które musimy rozwiązać w różnych zespołach. Do pewnego stopnia zespoły są w stanie rządzić się i koordynować, a zespół będący wyraźnym właścicielem domeny danych ma również element wewnętrznej władzy (Dostawa decyduje, że pojazdy są nazywane „pojazdami”, a nie na przykład „samochody”).

Wspólne narzędzia i infrastruktura

Istnieje wiele dobrych powodów, aby dostosować wspólne narzędzia do wykonywania podobnych zadań. Nabywanie narzędzi i zarządzanie nimi zazwyczaj wiąże się z pewnymi kosztami ogólnymi, ponieważ ich integracja, obsługa i użytkowanie często wymagają specjalistycznych umiejętności. Krańcowy koszt dodania większej liczby użytkowników lub przypadków użycia do istniejącego narzędzia jest często niższy niż zakup nowego, a wspólne narzędzia zapewniają również wewnętrzną mobilność. W Oda ważną częścią mandatu naszych zespołów ds. platform danych jest zrozumienie wspólnych potrzeb w zakresie narzędzi w całej organizacji oraz kupowanie, budowanie, integrowanie i obsługiwanie narzędzi, które zaspokajają te potrzeby.

Wspólne wytyczne i najlepsze praktyki

Posiadanie wytycznych i udokumentowanych najlepszych praktyk dotyczących wykonywania podobnych zadań w różnych zespołach pomaga nam ograniczyć złożoność techniczną, poprawić interoperacyjność i wygodę użytkownika oraz obniżyć barierę dla mobilności wewnętrznej. Przykładami tego mogą być konwencje nazewnictwa, standardy kodowania, praktyki dotyczące obsługi danych historycznych oraz standardowe palety kolorów do wykorzystania w kokpitach.

Włączanie i szkolenie

Zapewniając podstawowe szkolenie w zakresie naszych narzędzi i koncepcji danych, upewniamy się, że nasze narzędzia, metody i najlepsze praktyki są dobrze rozumiane i stosowane oraz że mamy wspólne zrozumienie naszych najważniejszych koncepcji danych. Prowadzimy regularne szkolenia Looker, udzielamy doraźnego wsparcia i wspieramy społeczności praktyków. Na przykład zespół platformy odpowiedzialny za dostarczanie narzędzi do eksperymentów jest również odpowiedzialny za ułatwianie eksperymentalnej społeczności praktyków , w której ludzie z całej organizacji spotykają się, aby uczyć się o eksperymentowaniu i uzgadniać wspólne praktyki.

Na koniec warto podkreślić wartość posiadania silnej dyscypliny Data & Insight, w ramach której specjaliści danych z różnych zespołów spotykają się, aby uczyć się, hakować, współpracować, budować relacje i dobrze się bawić. Mając silną społeczność danych, łatwiej jest znaleźć wspólne rozwiązania typowych problemów, zapylać krzyżowo pomysły i praktyki, pozyskiwać różne podejścia do złożonych problemów i współpracować w celu rozwiązywania problemów obejmujących wiele obszarów. Odgrywa również ważną rolę w rozwoju zawodowym wielu osób oraz w przyciąganiu i zatrzymywaniu talentów.

Wraz z pięcioma innymi zasadami, rozproszoną własnością danych, zarządzanie współdzielonymi danymi odgrywa kluczową rolę w sposobie, w jaki działamy i rozwijamy nasze praktyki związane z danymi w Oda i jest w najlepszym przypadku bardzo potężnym podejściem do rozwiązywania problemów z danymi na dużą skalę. Zasadniczo chodzi o postrzeganie danych jako możliwości, a nie funkcji, i zapewnianie zespołom produktowym dużej swobody (a z dużą swobodą wiąże się wielka odpowiedzialność).

Jeśli spodobał Ci się ten post, zajrzyj na nasz blog Oda Product & Tech Medium, aby dowiedzieć się więcej. Możesz tam przeczytać, jak zespół dostarczający przeszedł od zerowego wglądu do przewidywania czasu obsługi za pomocą modelu uczenia maszynowego i jak wzmocnić kompleksową analizę danych w Oda dzięki naszej platformie do nauki o danych .