Runbooki

Mar 07 2023

Najlepszy przyjaciel osoby na wezwanie

Wprowadzenie Runbooki nie są niczym nowym, wręcz przeciwnie, istnieją już od wielu lat. Element Runbook można traktować jako przewodnik dotyczący wykonywania zadania, którego można użyć do reagowania na incydenty w przypadku alertu.

Wstęp

Runbooki nie są niczym nowym, wręcz przeciwnie, istnieją już od wielu lat. Element Runbook można traktować jako przewodnik dotyczący wykonywania zadania, którego można użyć do reagowania na incydenty w przypadku alertu.

Ten poradnik może zawierać teksty, listy kontrolne, diagramy, przepływy pracy, prawie wszystko, co ułatwi osobie dyżurującej podczas incydentu.

Elementy Runbook mogą służyć do przyspieszenia reakcji na typowe incydenty

To jest przykład elementu Runbook dotyczącego tego, co należy zrobić, gdy obiekty docelowe Prometheus nie działają

Dlaczego to ważne

Posiadanie elementu Runbook zawierającego listę kroków, które należy wykonać, aby zareagować na incydent lub wykonać określoną akcję lub rozpocząć kroki, jest nieocenione dla osoby dyżurującej, która jest wzywana o drugiej w nocy. Te kroki pomagają dyżurującej osobie debugować, łagodzić i rozwiązywać problemy, bez konieczności odkrywania każdego problemu i zrozumienia, jak działa usługa.

Skróci to przestoje i da dyżurującemu kilka dodatkowych godzin snu :)

Według Google SRE Workbook, Runbooks powinny „zredukować stres, średni czas naprawy (MTTR) i ryzyko błędu ludzkiego”.

Co powinno znaleźć się w Runbooku?

Runbook powinien koncentrować się na jednym zadaniu i zawierać kroki wymagane do rozwiązania problemu.
Kroki w elemencie Runbook muszą być jasne, aby każdy mógł szybko rozwiązać problem również w przypadku osoby na wezwanie, która jest na wpół uśpiona.
Każdy problem powinien zawierać nazwę alertu oraz opis .
Powinien opisywać, jaka jest powaga problemu.
Powinien opisywać wszelkie zależności od innych usług.
Powinien zawierać informacje o wpływie na biznes .
Powinien zawierać informacje o tym, jak komunikować się z interesariuszami, klientem i organizacją.
Powinien zawierać dane kontaktowe i dyżury .
Sekcja FAQ (najczęściej zadawane pytania)

Tworzenie Runbooka

To wszystko brzmi świetnie, ale jak stworzyć coś takiego? Gdzie w ogóle zaczynasz?

Możesz rozpocząć tworzenie elementu Runbook, pisząc instrukcje dotyczące zadania na podstawie poprzedniego incydentu. Pomyśl, jakie są najczęstsze zdarzenia. Informacje te można uzyskać z sekcji zwłok .

Za każdym razem, gdy tworzony jest alert, należy utworzyć odpowiedni wpis elementu Runbook.

Na początek polecam zapoznanie się z kolekcją GitLab Runbooks . To repozytorium zawiera wiele elementów Runbook na początek i jest dobrym początkiem inspiracji do tworzenia elementu Runbook, który działa dla Twojego zespołu/organizacji.

Pierwszym krokiem może być napisanie elementu Runbook na żądanie dla zespołu z instrukcjami dotyczącymi reagowania na alerty. Na przykład ten element Runbook na wezwanie zawiera szablon dla osób, które rozpoczynają zmianę na wezwanie.

Kto powinien pisać Runbooki?

Własność i odpowiedzialność powinny spoczywać na zespołach. Odpowiadają za aktualność i dokładność elementów Runbook. Zespół SRE może dostarczyć szablon dla zespołów, ale to oni są za niego odpowiedzialni i każda jego modyfikacja jest wspólnym wysiłkiem zespołu.

Gdzie należy przechowywać elementy Runbook?

Runbooki mogą być przechowywane w repozytorium GitHub (dobre do automatyzacji) lub na stronie konfluencji, stronie wiki itp. Ważną rzeczą jest to, że można je łatwo znaleźć i wyszukać podczas incydentu.

Jak często należy aktualizować elementy Runbook?

Typowy problem z elementami Runbook polega na tym, że stają się one nieaktualne. Runbook powinien być stale aktualizowany i zawierać najbardziej aktualne informacje. Jeśli zostanie dodana nowa zależność, wówczas w dokumentacji należy dodać informację o tej zależności.