Manuales

Mar 07 2023

Un mejor amigo de la persona de guardia

Introducción Los Runbooks no son algo nuevo, al contrario, existen desde hace muchos años. Se puede pensar en un Runbook como una guía práctica para completar una tarea que se puede usar para responder a incidentes en caso de una alerta.

Introducción

Los runbooks no son algo nuevo, al contrario, existen desde hace muchos años. Se puede pensar en un Runbook como una guía práctica para completar una tarea que se puede usar para responder a incidentes en caso de una alerta.

Esta guía práctica puede incluir textos, listas de verificación, diagramas, flujos de trabajo, casi cualquier cosa que facilite las cosas a la persona de guardia durante un incidente.

Los runbooks se pueden usar para acelerar la respuesta a incidentes comunes

Este es un ejemplo de un Runbook sobre qué hacer cuando los objetivos de Prometheus no funcionan.

por qué es importante

Tener un runbook que contenga una lista de pasos para responder a un incidente, o para realizar una acción específica o desencadenar pasos es invaluable para una persona de guardia a la que llaman a las 2 a. m. de la mañana. Estos pasos ayudan a la persona de guardia a depurar, mitigar y resolver los problemas, sin necesidad de resolver cada problema y comprender cómo funciona el servicio.

Esto reducirá el tiempo de inactividad y le dará a la persona de guardia algunas horas extra para dormir :)

Según Google SRE Workbook, los Runbooks deberían "reducir el estrés, el tiempo medio de reparación (MTTR) y el riesgo de error humano".

¿Qué debe contener un Runbook?

Un Runbook debe centrarse en una tarea y contener los pasos necesarios para resolver un problema.
Los pasos en el runbook deben ser claros, para que cualquiera pueda resolver rápidamente el problema incluso para una persona de guardia que está medio dormida.
Cada problema debe incluir un nombre de alerta y una descripción .
Debe describir cuál es la gravedad del problema.
Debe describir cualquier dependencia con otros servicios.
Debe contener cuál es el impacto comercial .
Debe contener información sobre cómo comunicarse con las partes interesadas, el cliente y la organización.
Debe contener información de contacto y de guardia .
Una sección de FAQ (preguntas frecuentes)

Creación de un libro de ejecución

Todo eso suena genial, pero ¿cómo se crea tal cosa? ¿Por dónde empiezas?

Puede comenzar a crear un runbook escribiendo instrucciones para una tarea basada en un incidente anterior. Piense en cuáles son los incidentes más comunes. Esta información se puede recuperar de autopsias .

Cada vez que se crea una alerta, se debe crear una entrada de runbook correspondiente.

Para comenzar, recomendaría consultar la colección de GitLab Runbooks . Este repositorio proporciona muchos runbooks para empezar y es un buen comienzo para inspirarse sobre cómo crear un runbook que funcione para su equipo u organización.

Un primer paso podría ser escribir un runbook de guardia para el equipo con instrucciones sobre cómo responder a las alertas. Como ejemplo, este runbook On-Call proporciona una plantilla para las personas que están comenzando un turno de guardia.

¿Quién debería escribir los Runbooks?

La propiedad y la responsabilidad deben recaer en los equipos. Son responsables de que los runbooks estén actualizados y sean precisos. El equipo de SRE puede proporcionar una plantilla para los equipos, pero ellos son responsables de ella y cada modificación de la misma es un esfuerzo conjunto del equipo.

¿Dónde deben almacenarse los Runbooks?

Los Runbooks se pueden guardar en un repositorio de GitHub (bueno para la automatización) o en una página de confluencia, página wiki, etc. Lo importante aquí es que son fáciles de encontrar y buscar durante un incidente.

¿Con qué frecuencia debo actualizar los Runbooks?

Un problema común con los runbooks es que quedan obsoletos. Un runbook debe actualizarse constantemente y contener la información más actualizada. Si se agrega una nueva dependencia, la información sobre esa dependencia debe agregarse a la documentación.