Microsoft Cognitive Toolkit (CNTK) - CPU i GPU

Microsoft Cognitive Toolkit oferuje dwie różne wersje kompilacji, a mianowicie tylko CPU i tylko GPU.

Wersja kompilacji tylko dla procesora

Wersja kompilacji CNTK tylko z procesorem korzysta ze zoptymalizowanej wersji Intel MKLML, gdzie MKLML jest podzbiorem MKL (Math Kernel Library) i wydana z Intel MKL-DNN jako zakończona wersja Intel MKL dla MKL-DNN.

Wersja kompilacji tylko dla GPU

Z drugiej strony, wersja CNTK przeznaczona tylko do GPU wykorzystuje wysoce zoptymalizowane biblioteki NVIDIA, takie jak CUB i cuDNN. Obsługuje rozproszone szkolenie na wielu procesorach graficznych i wielu maszynach. Aby zapewnić jeszcze szybsze rozproszone szkolenie w CNTK, wersja kompilacji GPU zawiera również -

  • Opracowany przez MSR 1-bitowy kwantowany SGD.

  • Algorytmy uczenia równoległego Block-Momum SGD.

Włączanie GPU z CNTK w systemie Windows

W poprzedniej sekcji widzieliśmy, jak zainstalować podstawową wersję CNTK do użytku z procesorem. Omówmy teraz, jak możemy zainstalować CNTK do użytku z GPU. Ale zanim się w to zagłębisz, najpierw powinieneś mieć obsługiwaną kartę graficzną.

Obecnie CNTK obsługuje kartę graficzną NVIDIA z obsługą co najmniej CUDA 3.0. Aby się upewnić, możesz sprawdzić pod adresemhttps://developer.nvidia.com/cuda-gpus czy twój GPU obsługuje CUDA.

Zobaczmy więc kroki, aby włączyć GPU z CNTK w systemie operacyjnym Windows -

Step 1 - W zależności od używanej karty graficznej, najpierw musisz mieć najnowsze sterowniki GeForce lub Quadro dla swojej karty graficznej.

Step 2 - Po pobraniu sterowników należy zainstalować zestaw narzędzi CUDA w wersji 9.0 dla Windows ze strony internetowej NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64. Po zainstalowaniu uruchom instalator i postępuj zgodnie z instrukcjami.

Step 3 - Następnie musisz zainstalować pliki binarne cuDNN ze strony internetowej NVIDIA https://developer.nvidia.com/rdp/form/cudnn-download-survey. W wersji CUDA 9.0 cuDNN 7.4.1 działa dobrze. Zasadniczo cuDNN to warstwa na wierzchu CUDA, używana przez CNTK.

Step 4 - Po pobraniu plików binarnych cuDNN należy rozpakować plik zip do folderu głównego instalacji zestawu narzędzi CUDA.

Step 5- To ostatni krok, który umożliwi użycie GPU w CNTK. Wykonaj następujące polecenie w wierszu polecenia Anaconda w systemie operacyjnym Windows -

pip install cntk-gpu

Włączanie GPU z CNTK w systemie Linux

Zobaczmy, jak możemy włączyć GPU z CNTK w systemie operacyjnym Linux -

Pobieranie zestawu narzędzi CUDA

Najpierw musisz zainstalować zestaw narzędzi CUDA ze strony NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type = runfilelocal .

Uruchomienie instalatora

Teraz, gdy masz już pliki binarne na dysku, uruchom instalator, otwierając terminal i wykonując następujące polecenie oraz instrukcję na ekranie -

sh cuda_9.0.176_384.81_linux-run

Zmodyfikuj skrypt profilu Bash

Po zainstalowaniu zestawu narzędzi CUDA na komputerze z systemem Linux należy zmodyfikować skrypt profilu BASH. W tym celu najpierw otwórz plik $ HOME / .bashrc w edytorze tekstu. Teraz na końcu skryptu dołącz następujące wiersze -

export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
Installing

Instalowanie bibliotek cuDNN

W końcu musimy zainstalować pliki binarne cuDNN. Można go pobrać ze strony internetowej NVIDIAhttps://developer.nvidia.com/rdp/form/cudnn-download-survey. W wersji CUDA 9.0 cuDNN 7.4.1 działa dobrze. Zasadniczo cuDNN to warstwa na wierzchu CUDA, używana przez CNTK.

Po pobraniu wersji dla systemu Linux wyodrębnij ją do pliku /usr/local/cuda-9.0 folder za pomocą następującego polecenia -

tar xvzf -C /usr/local/cuda-9.0/ cudnn-9.0-linux-x64-v7.4.1.5.tgz

Zmień ścieżkę do nazwy pliku zgodnie z wymaganiami.