Microsoft Cognitive Toolkit (CNTK) - CPU i GPU
Microsoft Cognitive Toolkit oferuje dwie różne wersje kompilacji, a mianowicie tylko CPU i tylko GPU.
Wersja kompilacji tylko dla procesora
Wersja kompilacji CNTK tylko z procesorem korzysta ze zoptymalizowanej wersji Intel MKLML, gdzie MKLML jest podzbiorem MKL (Math Kernel Library) i wydana z Intel MKL-DNN jako zakończona wersja Intel MKL dla MKL-DNN.
Wersja kompilacji tylko dla GPU
Z drugiej strony, wersja CNTK przeznaczona tylko do GPU wykorzystuje wysoce zoptymalizowane biblioteki NVIDIA, takie jak CUB i cuDNN. Obsługuje rozproszone szkolenie na wielu procesorach graficznych i wielu maszynach. Aby zapewnić jeszcze szybsze rozproszone szkolenie w CNTK, wersja kompilacji GPU zawiera również -
Opracowany przez MSR 1-bitowy kwantowany SGD.
Algorytmy uczenia równoległego Block-Momum SGD.
Włączanie GPU z CNTK w systemie Windows
W poprzedniej sekcji widzieliśmy, jak zainstalować podstawową wersję CNTK do użytku z procesorem. Omówmy teraz, jak możemy zainstalować CNTK do użytku z GPU. Ale zanim się w to zagłębisz, najpierw powinieneś mieć obsługiwaną kartę graficzną.
Obecnie CNTK obsługuje kartę graficzną NVIDIA z obsługą co najmniej CUDA 3.0. Aby się upewnić, możesz sprawdzić pod adresemhttps://developer.nvidia.com/cuda-gpus czy twój GPU obsługuje CUDA.
Zobaczmy więc kroki, aby włączyć GPU z CNTK w systemie operacyjnym Windows -
Step 1 - W zależności od używanej karty graficznej, najpierw musisz mieć najnowsze sterowniki GeForce lub Quadro dla swojej karty graficznej.
Step 2 - Po pobraniu sterowników należy zainstalować zestaw narzędzi CUDA w wersji 9.0 dla Windows ze strony internetowej NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64. Po zainstalowaniu uruchom instalator i postępuj zgodnie z instrukcjami.
Step 3 - Następnie musisz zainstalować pliki binarne cuDNN ze strony internetowej NVIDIA https://developer.nvidia.com/rdp/form/cudnn-download-survey. W wersji CUDA 9.0 cuDNN 7.4.1 działa dobrze. Zasadniczo cuDNN to warstwa na wierzchu CUDA, używana przez CNTK.
Step 4 - Po pobraniu plików binarnych cuDNN należy rozpakować plik zip do folderu głównego instalacji zestawu narzędzi CUDA.
Step 5- To ostatni krok, który umożliwi użycie GPU w CNTK. Wykonaj następujące polecenie w wierszu polecenia Anaconda w systemie operacyjnym Windows -
pip install cntk-gpuWłączanie GPU z CNTK w systemie Linux
Zobaczmy, jak możemy włączyć GPU z CNTK w systemie operacyjnym Linux -
Pobieranie zestawu narzędzi CUDA
Najpierw musisz zainstalować zestaw narzędzi CUDA ze strony NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type = runfilelocal .
Uruchomienie instalatora
Teraz, gdy masz już pliki binarne na dysku, uruchom instalator, otwierając terminal i wykonując następujące polecenie oraz instrukcję na ekranie -
sh cuda_9.0.176_384.81_linux-runZmodyfikuj skrypt profilu Bash
Po zainstalowaniu zestawu narzędzi CUDA na komputerze z systemem Linux należy zmodyfikować skrypt profilu BASH. W tym celu najpierw otwórz plik $ HOME / .bashrc w edytorze tekstu. Teraz na końcu skryptu dołącz następujące wiersze -
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
InstallingInstalowanie bibliotek cuDNN
W końcu musimy zainstalować pliki binarne cuDNN. Można go pobrać ze strony internetowej NVIDIAhttps://developer.nvidia.com/rdp/form/cudnn-download-survey. W wersji CUDA 9.0 cuDNN 7.4.1 działa dobrze. Zasadniczo cuDNN to warstwa na wierzchu CUDA, używana przez CNTK.
Po pobraniu wersji dla systemu Linux wyodrębnij ją do pliku /usr/local/cuda-9.0 folder za pomocą następującego polecenia -
tar xvzf -C /usr/local/cuda-9.0/ cudnn-9.0-linux-x64-v7.4.1.5.tgzZmień ścieżkę do nazwy pliku zgodnie z wymaganiami.