So verbinden Sie zwei Computer mit einem H2O-Cluster in Python

Question

Ich habe zwei Computer, die ich mit einem einzelnen H2O-Cluster verbinden möchte. Einer hat 4 Kerne, der andere hat 6. Wenn ich renne

h2o.init(ip = '10.0.0.89', port = 54321)

Auf dem ersten Computer erhalte ich folgende Ausgabe:

H2O cluster uptime: 1 minutes 56 seconds 846 milliseconds
H2O cluster version:    3.8.2.3
H2O cluster name:   H2O_started_from_python_samerens_dii030
H2O cluster total nodes:    1
H2O cluster total free memory:  3.4 GB
H2O cluster total cores:    4
H2O cluster allowed cores:  4
H2O cluster healthy:    True
H2O Connection ip:  10.0.0.89
H2O Connection port:    54321
H2O Connection proxy:   None
Python Version: 3.7.4

Wenn ich denselben Befehl auf dem zweiten Computer ausführe, erhalte ich dieselbe Ausgabe (außer natürlich der Betriebszeit). Sollte sich die Gesamtzahl der Knoten nicht auf 2 und die Gesamtzahl der Kerne auf 10 erhöht haben? Mache ich etwas falsch

Answer 1

Derzeit starten Sie den H2O-Cluster auf einem einzelnen Computer und stellen dann von dem anderen Computer aus eine Verbindung her (dies ist das Szenario, in dem zwei Benutzer Zugriff auf denselben H2O-Cluster haben sollen, um Daten / Modelle gemeinsam zu nutzen).

Sie versuchen, einen H2O-Cluster mit mehreren Knoten zu starten. Es ist nicht klar, ob dies Ihr Training beschleunigt oder nicht, da bei Verwendung eines Clusters mit mehreren Knoten Kommunikationsaufwand entsteht. Daher ist es immer gut, dies zu überprüfen. Wenn Sie eine größere Anzahl von Kernen hinzufügen, z. B. 40 + 40 für insgesamt 80 Kerne, würde ich erwarten, dass dies die Dinge in den meisten Fällen beschleunigt, aber das Hinzufügen von 4 zu 6 hilft möglicherweise nicht so viel (ich möchte das nur betonen Es ist gut, die Trainingsgeschwindigkeit auf dem 6-Kern-Single-Machine-Cluster im Vergleich zum 10-Core-Multi-Core-Cluster zu testen. Anweisungen dazu finden Sie im H2O-Benutzerhandbuch hier . Es gibt auch eine FAQ über H2O - Cluster hier . Wenn die Dokumente nicht klar genug sind, lassen Sie es mich bitte wissen (ich stelle fest, dass Beispiele / Informationen etwas spärlich sind).

Schließlich, wenn Sie speziell Amazon EC2 für Clustering verwenden möchten, gibt es weitere Informationen auf , dass hier .