Bộ công cụ nhận thức của Microsoft (CNTK) - CPU và GPU
Bộ công cụ nhận thức của Microsoft cung cấp hai phiên bản xây dựng khác nhau, cụ thể là chỉ dành cho CPU và chỉ dành cho GPU.
Phiên bản xây dựng chỉ dành cho CPU
Phiên bản xây dựng chỉ dành cho CPU của CNTK sử dụng Intel MKLML được tối ưu hóa, trong đó MKLML là tập con của MKL (Thư viện hạt nhân toán học) và được phát hành cùng với Intel MKL-DNN dưới dạng phiên bản kết thúc của Intel MKL cho MKL-DNN.
Phiên bản xây dựng chỉ GPU
Mặt khác, phiên bản xây dựng chỉ dành cho GPU của CNTK sử dụng các thư viện NVIDIA được tối ưu hóa cao như CUB và cuDNN. Nó hỗ trợ đào tạo phân tán trên nhiều GPU và nhiều máy. Để đào tạo phân tán nhanh hơn trong CNTK, phiên bản xây dựng GPU cũng bao gồm:
SGD lượng tử hóa 1bit do MSR phát triển.
Các thuật toán đào tạo song song khối-đà SGD.
Bật GPU với CNTK trên Windows
Trong phần trước, chúng ta đã xem cách cài đặt phiên bản CNTK cơ bản để sử dụng với CPU. Bây giờ chúng ta hãy thảo luận về cách chúng ta có thể cài đặt CNTK để sử dụng với GPU. Tuy nhiên, trước khi đi sâu vào nó, trước tiên bạn nên có một card đồ họa được hỗ trợ.
Hiện tại, CNTK hỗ trợ card đồ họa NVIDIA với ít nhất hỗ trợ CUDA 3.0. Để chắc chắn hơn, bạn có thể kiểm tra tạihttps://developer.nvidia.com/cuda-gpus GPU của bạn có hỗ trợ CUDA hay không.
Vì vậy, chúng ta hãy xem các bước để kích hoạt GPU với CNTK trên HĐH Windows -
Step 1 - Tùy thuộc vào card đồ họa bạn đang sử dụng, trước tiên bạn cần có trình điều khiển GeForce hoặc Quadro mới nhất cho card đồ họa của mình.
Step 2 - Sau khi tải xuống trình điều khiển, bạn cần cài đặt bộ công cụ CUDA Phiên bản 9.0 cho Windows từ trang web NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64. Sau khi cài đặt, hãy chạy trình cài đặt và làm theo hướng dẫn.
Step 3 - Tiếp theo, bạn cần cài đặt các tệp nhị phân cuDNN từ trang web NVIDIA https://developer.nvidia.com/rdp/form/cudnn-download-survey. Với phiên bản CUDA 9.0, cuDNN 7.4.1 hoạt động tốt. Về cơ bản, cuDNN là một lớp trên cùng của CUDA, được sử dụng bởi CNTK.
Step 4 - Sau khi tải xuống các tệp nhị phân cuDNN, bạn cần giải nén tệp zip vào thư mục gốc của cài đặt bộ công cụ CUDA của bạn.
Step 5- Đây là bước cuối cùng sẽ cho phép sử dụng GPU bên trong CNTK. Thực thi lệnh sau bên trong lời nhắc Anaconda trên Windows OS -
pip install cntk-gpuBật GPU với CNTK trên Linux
Hãy để chúng tôi xem cách chúng tôi có thể kích hoạt GPU với CNTK trên hệ điều hành Linux -
Tải xuống bộ công cụ CUDA
Đầu tiên, bạn cần cài đặt bộ công cụ CUDA từ trang web của NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type= runfilelocal .
Chạy trình cài đặt
Bây giờ, khi bạn có mã nhị phân trên đĩa, hãy chạy trình cài đặt bằng cách mở một thiết bị đầu cuối và thực hiện lệnh sau và hướng dẫn trên màn hình:
sh cuda_9.0.176_384.81_linux-runSửa đổi tập lệnh hồ sơ Bash
Sau khi cài đặt bộ công cụ CUDA trên máy Linux, bạn cần sửa đổi tập lệnh cấu hình BASH. Đối với điều này, trước tiên hãy mở tệp $ HOME / .bashrc trong trình soạn thảo văn bản. Bây giờ, ở cuối tập lệnh, hãy bao gồm các dòng sau:
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
InstallingCài đặt thư viện cuDNN
Cuối cùng, chúng ta cần cài đặt các tệp nhị phân cuDNN. Nó có thể được tải xuống từ trang web NVIDIAhttps://developer.nvidia.com/rdp/form/cudnn-download-survey. Với phiên bản CUDA 9.0, cuDNN 7.4.1 hoạt động tốt. Về cơ bản, cuDNN là một lớp trên cùng của CUDA, được sử dụng bởi CNTK.
Sau khi tải xuống phiên bản cho Linux, hãy giải nén nó vào /usr/local/cuda-9.0 thư mục bằng cách sử dụng lệnh sau:
tar xvzf -C /usr/local/cuda-9.0/ cudnn-9.0-linux-x64-v7.4.1.5.tgzThay đổi đường dẫn đến tên tệp theo yêu cầu.