TensorFlow - Máy tính phân tán

Chương này sẽ tập trung vào cách bắt đầu với TensorFlow phân tán. Mục đích là giúp các nhà phát triển hiểu các khái niệm TF phân tán cơ bản đang tái diễn, chẳng hạn như máy chủ TF. Chúng tôi sẽ sử dụng Jupyter Notebook để đánh giá TensorFlow phân tán. Việc triển khai tính toán phân tán với TensorFlow được đề cập dưới đây:

Step 1 - Nhập các mô-đun cần thiết bắt buộc cho tính toán phân tán -

import tensorflow as tf

Step 2- Tạo một cụm TensorFlow với một nút. Hãy để nút này chịu trách nhiệm cho một công việc có tên "worker" và nó sẽ hoạt động một lần tại localhost: 2222.

cluster_spec = tf.train.ClusterSpec({'worker' : ['localhost:2222']})
server = tf.train.Server(cluster_spec)
server.target

Các đoạn mã trên tạo ra kết quả sau:

'grpc://localhost:2222'
The server is currently running.

Step 3 - Cấu hình máy chủ với phiên tương ứng có thể được tính toán bằng cách thực hiện lệnh sau:

server.server_def

Lệnh trên tạo ra kết quả sau:

cluster {
   job {
      name: "worker"
      tasks {
         value: "localhost:2222"
      }
   }
}
job_name: "worker"
protocol: "grpc"

Step 4- Khởi chạy một phiên TensorFlow với công cụ thực thi là máy chủ. Sử dụng TensorFlow để tạo máy chủ cục bộ và sử dụnglsof để tìm ra vị trí của máy chủ.

sess = tf.Session(target = server.target)
server = tf.train.Server.create_local_server()

Step 5 - Xem các thiết bị có sẵn trong phiên này và đóng phiên tương ứng.

devices = sess.list_devices()
for d in devices:
   print(d.name)
sess.close()

Lệnh trên tạo ra kết quả sau:

/job:worker/replica:0/task:0/device:CPU:0