Le fond de cet article est un incident qui s'est produit. La cause de l'incident était due à des données incorrectes. Nous n'avons pas réalisé l'incident jusqu'à ce que nous ayons reçu les plaintes des clients. Entre-temps, nous avons fermé tous les services concernant la source de données incorrecte pour éviter de propager l'impact. Après cet incident, j'ai résumé quelques méthodologies sur la gestion des incidents en ligne.

Réflexion

1. Tous les systèmes ont besoin d'une fonction de surveillance. Deux données secondaires doivent être surveillées. D'un côté, les données sources, le volume de données et l'exactitude doivent être surveillés. L'alarme des exceptions de données nous aidera à trouver l'exception avant les plaintes des clients. L'autre côté concerne les données d'exploitation de l'entreprise. Dans la mesure du possible, effectuez une validation croisée des données d'au moins deux dimensions des opérations commerciales.
2. Tous les systèmes ont besoin d'une fonction de journalisation. Il est nécessaire de garder une trace des enregistrements de fonctionnement pendant le fonctionnement du système. Parce que l'enregistrement d'opération est utile pour le dépannage.
3. Tenir à jour à tout moment les documents relatifs à la structure et à la conception du système. Les documents ne comprennent pas seulement des bases de données, des champs, des API et des services associés. Une fois qu'un problème de contenu survient, il peut être localisé directement à partir de la source, et l'impact du problème peut être évalué avec précision en localisant le problème, de sorte que l'expansion de l'impact puisse être arrêtée à temps même s'il y a en amont et en aval ou d'autres relations connexes dans plusieurs systèmes.

1. Une fois l'incident survenu, confirmez si la fonction dispose d'un plan de commutation ou de sauvegarde. Arrêtez la fonction ou activez les programmes d'urgence.
2. Localisez le problème directement selon les documents du système et les enregistrements d'opération.
3. Contrat avec le propriétaire des systèmes en amont, en aval et autres systèmes connexes, informer du problème et de la surface d'impact.
4. Travailler sur la résolution du problème. En attendant, comptez tous les utilisateurs concernés par ce problème et soumettez la liste des utilisateurs et comment les gérer au système d'appel.
5. Il est indispensable de corriger les données et de sauvegarder les données.
6. Après l'incident, résumez les causes, le processus et le suivi dans un rapport d'incident.