Systemdesign-Tutorial: 3 unverzichtbare Konzepte für verteilte Systeme
Sorgen Sie für einen guten Start in Ihrem nächsten Systemdesign-Interview.
In diesem Beitrag diskutieren wir drei Systemdesignkonzepte, die zur Lösung von Designproblemen im Zusammenhang mit verteilten Systemen verwendet werden können. Da diese Konzepte auf alle Arten verteilter Systeme angewendet werden können, sind sie bei Systemdesign-Interviews sehr nützlich .
Hier ist die Liste der Konzepte, die wir diskutieren werden:
- Herzschlag
- Geteiltes Gehirn
- Merkle-Baum
Hintergrund
In einer verteilten Umgebung werden Daten (oder Arbeit) auf Server verteilt. Bei einem solchen Setup müssen die Server wissen, welche anderen Server Teil des Systems sind, um Anfragen effizient weiterleiten zu können. Darüber hinaus sollten Server erkennen können, ob andere Server aktiv sind. Wenn in einer dezentralen Umgebung eine Anfrage bei einem Server eintrifft, sollte der Server in der Lage sein, zu entscheiden, welcher Server für die Bearbeitung dieser Anfrage verantwortlich ist. Daher ist die rechtzeitige Erkennung eines Serverausfalls von entscheidender Bedeutung, damit das System Korrekturmaßnahmen ergreifen und Daten (oder Arbeiten) auf einen anderen fehlerfreien Server verschieben und verhindern kann, dass sich die Umgebung weiter verschlechtert.
Definition
In einer verteilten Umgebung sendet jeder Server regelmäßig eine Heartbeat-Nachricht an einen zentralen Überwachungsserver oder andere Server im System, um zu zeigen, dass er noch aktiv ist und funktioniert.
Lösung
Heartbeating ist einer der Mechanismen zur Fehlererkennung in einem verteilten System. Wenn ein zentraler Server vorhanden ist, senden alle Server regelmäßig eine Heartbeat-Nachricht an diesen. Wenn es keinen zentralen Server gibt, wählen alle Server zufällig eine Reihe von Servern aus und senden ihnen alle paar Sekunden eine Heartbeat-Nachricht. Wenn also eine Zeit lang keine Heartbeat-Nachricht von einem Server empfangen wird, kann das System vermuten, dass der Server möglicherweise abgestürzt ist. Wenn innerhalb eines konfigurierten Timeout-Zeitraums kein Heartbeat erfolgt, kann das System zu dem Schluss kommen, dass der Server nicht mehr aktiv ist, keine Anfragen mehr an ihn senden und mit der Arbeit an seinem Ersatz beginnen.
Beispiel
Google File System (GFS) und HDFS nutzen Heartbeating, um mit den anderen Servern im System zu kommunizieren, Anweisungen zu erteilen und den Status zu erfassen.
2. Gespaltenes Gehirn
Hintergrund
Wenn in einer verteilten Umgebung mit einem zentralen (oder führenden) Server der zentrale Server ausfällt, muss das System schnell einen Ersatz finden. andernfalls kann es schnell zu einer Verschlechterung des Systems kommen.
Eines der Probleme besteht darin, dass wir nicht wirklich wissen können, ob der Anführer endgültig aufgehört hat oder einen zeitweiligen Fehler erlebt hat, wie z. B. eine Stop-the-World-GC-Pause oder eine vorübergehende Netzwerkstörung. Dennoch muss der Cluster weitermachen und einen neuen Anführer wählen. Wenn der ursprüngliche Anführer zeitweise versagte, haben wir es nun mit einem sogenannten Zombie-Anführer zu tun. Ein Zombie-Anführer kann als Anführerknoten definiert werden, der vom System als tot eingestuft wurde und seitdem wieder online ist. Ein weiterer Knoten hat seinen Platz eingenommen, aber der Zombie-Anführer weiß das vielleicht noch nicht. Das System verfügt nun über zwei aktive Anführer, die möglicherweise widersprüchliche Befehle erteilen. Wie kann ein System ein solches Szenario erkennen, sodass alle Knoten im System Anfragen des alten Anführers ignorieren können und der alte Anführer selbst erkennen kann, dass er nicht mehr der Anführer ist?
Definition
Das übliche Szenario, in dem ein verteiltes System über zwei oder mehr aktive Leiter verfügt, wird Split-Brain genannt .
Split-Brain wird durch die Verwendung von Generation Clock gelöst , bei der es sich einfach um eine monoton steigende Zahl handelt, die die Generation eines Servers angibt.
Lösung
Jedes Mal, wenn ein neuer Anführer gewählt wird, wird die Generationsnummer erhöht. Das heißt, wenn der alte Anführer die Generationsnummer „1“ hatte, hat der neue „2“. Diese Generationsnummer ist in jeder Anfrage enthalten, die vom Leader an andere Knoten gesendet wird. Auf diese Weise können Knoten den tatsächlichen Anführer nun leicht unterscheiden, indem sie einfach dem Anführer mit der höchsten Nummer vertrauen. Die Generationsnummer sollte auf der Festplatte gespeichert werden, damit sie nach einem Serverneustart verfügbar bleibt. Eine Möglichkeit besteht darin, es mit jedem Eintrag im Write-Ahead-Protokoll zu speichern.
Beispiele
Kafka : Um Split-Brain zu handhaben (wo wir mehrere aktive Controller-Broker haben könnten), verwendet Kafka die „ Epochennummer “, eine einfach monoton ansteigende Zahl, die die Generation eines Servers angibt.
HDFS : ZooKeeper wird verwendet, um sicherzustellen, dass immer nur ein NameNode aktiv ist. Als Teil jeder Transaktions-ID wird eine Epochennummer verwaltet, um die NameNode-Generierung widerzuspiegeln.
3. Merkle-Bäume
Hintergrund
Verteilte Systeme verwalten aus Gründen der Fehlertoleranz und höheren Verfügbarkeit mehrere Kopien der Daten auf verschiedenen Servern (sogenannte Replikate). Um die Daten zwischen allen Replikatservern synchron zu halten, benötigt das System einen effizienten Mechanismus zum Vergleichen der Daten zwischen zwei Replikaten. Wie können wir in einer verteilten Umgebung schnell zwei Kopien einer Reihe von Daten vergleichen, die sich auf zwei verschiedenen Replikaten befinden, und genau herausfinden, welche Teile unterschiedlich sind?
Definition
Eine Replik kann viele Daten enthalten. Eine naive Aufteilung des gesamten Bereichs zur Berechnung von Prüfsummen zum Vergleich ist nicht sehr machbar; Es müssen einfach zu viele Daten übertragen werden. Stattdessen können wir Merkle-Bäume verwenden , um Replikate eines Bereichs zu vergleichen.
Lösung
Ein Merkle-Baum ist ein binärer Hash-Baum, bei dem jeder interne Knoten der Hash seiner beiden untergeordneten Knoten und jeder Blattknoten ein Hash eines Teils der Originaldaten ist.
Der Vergleich von Merkle-Bäumen ist konzeptionell einfach:
- Vergleichen Sie die Root-Hashes beider Bäume.
- Wenn sie gleich sind, hören Sie auf.
- Rekursion auf das linke und rechte Kind.
Der Nachteil der Verwendung von Merkle-Bäumen besteht darin, dass sich viele Schlüsselbereiche ändern können, wenn ein Knoten beitritt oder verlässt. Zu diesem Zeitpunkt müssen die Bäume neu berechnet werden.
Beispiele
Zur Anti-Entropie und zur Lösung von Konflikten im Hintergrund verwendet Amazons Dynamo Merkle-Bäume.
Abschluss
➡ Üben Sie diese Systemdesignkonzepte, um sich von anderen abzuheben!
➡ Erfahren Sie mehr über diese Ansätze in „ Grokking the System Design Interview “ und „ Grokking the Advanced System Design Interview “.
➡ Folgen Sie mir auf Linkedin , um Tipps zum Systemdesign und zur Codierung von Interviews zu erhalten.
Lesen Sie mehr über Systemdesign-Interviews:
Der vollständige Leitfaden, um das Systemdesign-Interview im Jahr 2022 zu meistern. Die 12 wichtigsten Fragen zum Systemdesign-Interview mit Antworten (2022)Danke fürs Lesen
- Bitte klatscht für die Geschichte und folgt mir
- Weitere Inhalte zu Codierungs- und Systemdesign-Interviews anzeigen
- Folgen Sie mir: LinkedIn | Twitter | Newsletter

![Was ist überhaupt eine verknüpfte Liste? [Teil 1]](https://post.nghiatu.com/assets/images/m/max/724/1*Xokk6XOjWyIGCBujkJsCzQ.jpeg)



































