Comment connecter deux ordinateurs à un cluster H2O en Python

Question

J'ai deux ordinateurs que je souhaite connecter à un seul cluster H2O. L'un a 4 cœurs, l'autre en a 6. Quand je cours

h2o.init(ip = '10.0.0.89', port = 54321)

sur le premier ordinateur, j'obtiens la sortie suivante:

H2O cluster uptime: 1 minutes 56 seconds 846 milliseconds
H2O cluster version:    3.8.2.3
H2O cluster name:   H2O_started_from_python_samerens_dii030
H2O cluster total nodes:    1
H2O cluster total free memory:  3.4 GB
H2O cluster total cores:    4
H2O cluster allowed cores:  4
H2O cluster healthy:    True
H2O Connection ip:  10.0.0.89
H2O Connection port:    54321
H2O Connection proxy:   None
Python Version: 3.7.4

Lorsque j'exécute la même commande sur le deuxième ordinateur, j'obtiens la même sortie (sauf pour la disponibilité bien sûr). Le nombre total de nœuds n'aurait-il pas dû augmenter à 2 et le nombre total de cœurs à 10? Est-ce que quelque chose ne va pas?

Answer 1

Ce que vous faites actuellement, c'est démarrer le cluster H2O sur une seule machine, puis vous y connecter à partir de l'autre machine (c'est le scénario lorsque vous voulez que deux utilisateurs aient accès au même cluster H2O pour partager des données / modèles).

Ce que vous essayez de faire, c'est de démarrer un cluster H2O à plusieurs nœuds. Il n'est pas clair si cela accélérera votre formation ou non, car il y a une surcharge de communication lorsque vous utilisez un cluster à plusieurs nœuds, il est donc toujours bon de vérifier. Si vous ajoutez un plus grand nombre de cœurs, par exemple 40 + 40 pour un total de 80 cœurs, je m'attendrais à ce que cela accélère les choses dans la plupart des cas, mais l'ajout de 4 à 6 pourrait ne pas aider beaucoup (je veux juste souligner que il est bon de tester la vitesse d'entraînement sur le cluster à une machine à 6 cœurs par rapport au cluster multicœur à 10 cœurs). Vous trouverez des instructions à ce sujet dans le guide de l'utilisateur H2O ici . Il y a aussi une FAQ sur les clusters H2O ici . Si les documents ne sont pas assez clairs, veuillez me le faire savoir (je remarque que les exemples / informations sont un peu rares).

Enfin, si vous souhaitez spécifiquement utiliser Amazon EC2 pour le clustering, vous trouverez plus d'informations à ce sujet ici .