Autorzy: Kendra Billings , Wayne Hiner , Ryan LaPlante , Shailendra Poddar i Siladitya Roy

Jeśli działasz w pobliżu sektora technologicznego lub biznesowego, doskonale zdajesz sobie sprawę z wartości danych w dzisiejszym świecie. Prawdopodobnie słyszałeś również o siatce danych, radykalnie nowym podejściu do architektury danych, które może wykładniczo zwiększyć wartość twoich danych.

Jako lider biznesowy chcesz wyposażyć swoje zespoły w informacje umożliwiające generowanie spostrzeżeń, które napędzają wartość i wzrost. Obecnie siatka danych jest szeroko pozycjonowana jako rozwiązanie do demokratyzacji danych na dużą skalę, poszerzające dostęp do bogactwa informacji organizacyjnych poprzez oddanie własności w ręce generujących je zespołów.

Ale siatka danych nie jest rozwiązaniem typu plug-and-play, aw niektórych przypadkach skupienie się na siatce danych może w rzeczywistości odwrócić uwagę od podstawowych wyzwań biznesowych. Innymi słowy, pomimo obiecującego potencjału, dążenie do architektury data mesh nie gwarantuje szybkiej ścieżki do stania się organizacją opartą na danych i może nie być najlepszym podejściem dla każdej organizacji.

Celem tego artykułu jest pomoc w zrozumieniu, czy i kiedy siatka danych jest właściwym podejściem dla Twojej firmy, oraz zaoferowanie wglądu w lepsze zarządzanie danymi, bez względu na obecny stan.

Czym dokładnie jest siatka danych?

Siatka danych to stosunkowo nowy paradygmat architektury danych , który ma na celu zwiększenie dostępności danych dla użytkowników biznesowych poprzez bezpośrednie łączenie właścicieli danych, producentów danych i konsumentów danych za pomocą czterech głównych zasad :

1. Własność/projekt oparty na domenie
2. Dane jako produkt
3. Samoobsługowa infrastruktura danych
4. Federacyjne zarządzanie obliczeniowe

Jak więc to podejście wygląda w praktyce? Pod wieloma względami siatka danych przypomina klocki Lego. Z zaledwie sześciu różnych klocków Lego można stworzyć ponad 915 milionów różnych kombinacji. Siatkę danych można podobnie zbudować w dowolny sposób, który najlepiej sprawdza się w Twojej organizacji: starannie wybierz każdy komponent i zbuduj rozwiązanie, które najlepiej odpowiada Twoim potrzebom. Nie ma jednego dobrego lub złego sposobu, aby to zrobić, i możesz wymieniać komponenty, gdy Twoje dane wymagają dojrzałości i zmiany.

Brzmi świetnie, prawda? I to w odpowiednich okolicznościach! Ale ważne jest, aby zrozumieć ograniczenia przed podjęciem decyzji o rozpoczęciu przygody z siatką danych, aby mieć pewność, że produkt końcowy przyniesie oczekiwane rezultaty dla Twojej firmy.

Siatka danych nie jest magiczną poprawką

Nie rozwiąże to istniejących problemów z zarządzaniem

Jeśli Twoja organizacja już boryka się z zarządzaniem i dokumentacją zasobów danych, siatka danych nie rozwiąże tego problemu.

Zdecentralizowane rozwiązania często skutkują produktami o różnej jakości i niezawodności. W ramach siatki danych zespoły biznesowe są właścicielami własnych produktów danych, co oznacza również, że są odpowiedzialne za własne praktyki w zakresie jakości i zarządzania. Zespoły, które są właścicielami tych produktów danych, mogą nie być idealnie zmotywowane do ułatwiania korzystania z danych w różnych przypadkach użycia poza ich zespołami (Swapnil Wani ma świetny artykuł, który szczegółowo omawia ten problem).

Chociaż rozproszona własność może zwiększyć zasięg i dostęp do danych, decentralizacja może również prowadzić do silosów danych, sprzecznych źródeł prawdy i powielania wysiłków, pogarszając istniejące problemy wynikające z rozwiązania typu data lake.

Zespoły biznesowe muszą być gotowe na posiadanie własnych produktów danych

Metodologii Data Mesh nie można wypchnąć z organizacji IT. Jeśli Twoja organizacja nie ma jeszcze silnej kultury danych, w której zespoły biznesowe są wyposażone i chętne do posiadania swoich produktów danych w celu poprawy elastyczności i zmniejszenia tarć, może być trudno przekonać zespoły nietechniczne do przejęcia własności produktów, które historycznie nie miał żadnej odpowiedzialności.

Zdecentralizowany rozwój jest często droższy

Tradycyjny model operacyjny scentralizowanej inżynierii danych wymaga mniej wykwalifikowanych zasobów technicznych, ponieważ wszystkie zespoły biznesowe dzielą te zasoby. Decentralizacja może prowadzić do tego, że każdy zespół biznesowy zatrudnia i wspiera własne zespoły techniczne, co wymaga większych zasobów. Z jednej strony jest to jeden z powodów, dla których poprawia się sprawność i szybkość dostarczania: jest więcej ludzi dostarczających, być może z mniejszym zapotrzebowaniem na czas. Z drugiej strony zespoły biznesowe mogą nie być w stanie w pełni obsadzić niektórych ról, takich jak testowanie, co może obniżyć jakość rozwiązania lub spowodować błędne zachowanie. W końcu jest to kompromis między mniejszą liczbą osób wykonujących pracę przez dłuższy czas, co prowadzi do dłuższego czasu wprowadzania na rynek, a posiadaniem większego zespołu i szybszego czasu wprowadzania na rynek, co prowadzi do większego wzrostu w krótszym czasie.

Istnieją rozwiązania, które próbują złagodzić wymagania techniczne użytkowników biznesowych, zapewniając platformę z niskim kodem, ale proste, łatwe w użyciu wspólne platformy rzadko spełniają wszystkie wymagania biznesowe. Przypadki brzegowe istnieją i będą wymagać od zespołów technicznych opracowania i wsparcia.

Kompromis między elastycznością a prostotą

Posiadanie centralnej organizacji IT projektującej rozwiązanie architektoniczne, które będą posiadały zespoły biznesowe, może często skutkować niedopasowaniem wymagań technicznych rozwiązania do technicznych możliwości lub potrzeb zespołu. Jeśli celem jest prawdziwie zdecentralizowane rozwiązanie, zespoły biznesowe pójdą we własnych kierunkach i będą przeciwstawiać się ograniczeniom zaprojektowanym przez scentralizowanych architektów danych.

Produktywne rozwiązanie znajdzie się gdzieś na kontinuum, z doskonałą zwinnością na jednym końcu i doskonałą spójnością i prostotą na drugim. Każda organizacja musi dojść do punktu w tym spektrum, który spełnia jej potrzeby, a ten punkt równowagi będzie ewoluował w czasie, zawsze wiążąc się z kompromisem.

W przypadku siatki danych elastyczność często odbywa się kosztem prostoty. Pewne podejście pośrednie jest z pewnością możliwe, ale należy je osiągnąć iteracyjnie, metodą prób i błędów, aby sprostać wymaganiom zdolności przedsiębiorstwa jako całości i każdej jednostki biznesowej z osobna.

Sukces zależy od kandydata

Najsilniejszy kandydat na siatkę danych obejmuje przekonujące uzasadnienie biznesowe, silne poparcie i wystarczające zasoby oraz kulturę organizacyjną, która to wspiera.

Jeśli masz podejście, które działa dla Ciebie — powiedzmy, że Twoja organizacja nie jest zorientowana na domenę i ma scentralizowaną infrastrukturę informatyczną z wymiennymi zasobami, które są wdrażane wraz z różnymi projektami — siatka danych prawdopodobnie nie jest obecnie właściwą inwestycją.

Jeśli siatka danych jest tak złożona, dlaczego jej potrzebuję?

Pragnienie siatki danych jest powiązane z bardziej fundamentalnym celem, jakim jest stanie się organizacją opartą na danych. W zależności od aktualnego stanu, oto kilka wskazówek, jak podjąć kolejne lub pierwsze kroki w kierunku realizacji nowoczesnej kultury danych .

Podstawowy

Jeśli dopiero zaczynasz, skoncentruj się na trzech obszarach: zarządzanie, nowoczesna inżynieria i jakość danych.

1. Zarządzanie
   Jak powiedzieliśmy wcześniej, jeśli Twoja organizacja ma już problemy z zarządzaniem, siatka danych tego nie rozwiąże. Przed rozpoczęciem podróży z siatką danych upewnij się, że masz wdrożoną strukturę zarządzania danymi, nawet jeśli dotyczy to sekcji dużej organizacji. Współpracuj z zespołami biznesowymi, aby poprawić najlepsze praktyki w zakresie umiejętności korzystania z danych przed decentralizacją. Zidentyfikuj domenę biznesową, wypisz elementy danych, które są jej częścią i zbuduj macierz RACI. Wyczyść własność domeny i określ, kto jest odpowiedzialny za elementy krytyczne dla samoobsługowego komponentu siatki danych. Omów z zainteresowanymi stronami i upewnij się, że popierają inicjatywę; bardziej niż technologia, to ludzie napędzają ten proces.
2. Nowoczesna inżynieria
   Siatka danych opiera się na nowoczesnych praktykach inżynieryjnych w zakresie automatyzacji, ciągłego dostarczania i DevOps — wszystkich niepodlegających negocjacjom aspektów technologii, które będą wymagane do obsługi udostępniania danych zorientowanego na domenę. Niezbędne jest upewnienie się, czy takie praktyki inżynierskie istnieją w Twojej organizacji lub czy jesteś w stanie wesprzeć takie przedsięwzięcie.
3. Jakość danych
   Nawet przy najlepszych ludziach, procesach i technologiach inicjatywy związane z siatką danych często kończą się niepowodzeniem, ponieważ nie mogą pokazać wartości biznesowej z powodu braku jakości danych. Sprawdź jakość przychodzących danych i napraw je blisko źródła. Im lepsza jakość, tym wyższa uzyskana wartość.

Po ustanowieniu solidnych ram ładu, nowoczesnych praktyk inżynierskich i silnej kultury danych, oto trzy wskazówki dotyczące pomyślnego skonfigurowania implementacji siatki danych.

1. Zacznij od małego, ale wybierz odpowiedniego kandydata
   Ważne jest, aby zacząć od małego i wybrać odpowiedniego kandydata, aby przeprowadzić weryfikację koncepcji — coś, co pokazuje wartość siatki danych dla społeczności biznesowej i sponsorów, aby utrzymać ich zaangażowanie. W końcu kluczowym elementem jest budowanie kultury danych w organizacji. Znajdź projekt, który przyniesie wymierną wartość biznesową z jednoznacznymi celami. Bardzo wcześnie określ cele i cele i przedyskutuj je z liderami danych w organizacji, aby uniknąć sprzecznych projektów i inicjatyw; w ten sposób możesz zminimalizować sprzeciw i uzyskać maksymalne wsparcie.
2. Pracuj z tym, co masz
   Większość projektów data mesh to projekty poprzemysłowe, co oznacza, że ​​ulepszasz to, co już istnieje i ogólnie działa, nawet jeśli nie jest idealne. Zaproponowanie nowej implementacji jest nie tylko kosztowne, ale prawdopodobnie spotka się z odmową ze strony zespołu (zespołów), który wdrożył poprzednie rozwiązanie (natura ludzka!). Możesz potrzebować nowego zestawu technologii, ale pomyśl także o elemencie podnoszenia kwalifikacji — łatwiej jest ponownie wykorzystać istniejącą technologię i wykorzystać wiedzę, którą już posiadają Twoi pracownicy.
3. Włącz swoje zespoły w podróż
   Jak mówi przysłowie, w wielu dużych organizacjach lewa ręka nie wie, co robi prawa. Wiele równoległych inicjatyw często zaciemnia jasne poczucie wspólnego celu. Robienie pokazów objazdowych i pozwalanie użytkownikom biznesowym mówić za siebie nie tylko nabierze tempa, ale także pomoże ci zidentyfikować przypadki użycia, o których myślałeś, że nigdy nie istniały.

W swej istocie siatka danych jest w rzeczywistości podejściem socjotechnicznym, które opiera się na synergii między ludźmi, procesami i technologią w celu demokratyzacji danych na dużą skalę. Dostosowanie tych trzech elementów jest procesem iteracyjnym, często wymagającym znacznej inwestycji czasu i zasobów.

W Slalom współpracujemy z Tobą, aby zrozumieć biznesowy i ludzki przypadek każdego podejścia i pomóc Ci ustalić priorytety inwestycji, które odblokują wartość i pozwolą Ci osiągnąć swój cel.

Slalom to globalna firma konsultingowa, która pomaga ludziom i organizacjom marzyć o większych rzeczach, działać szybciej i budować lepsze jutro dla wszystkich. Dowiedz się więcej i skontaktuj się już dziś.