Microsoft Cognitive Toolkit (CNTK) - CPU dan GPU
Microsoft Cognitive Toolkit menawarkan dua versi build yang berbeda yaitu hanya CPU dan hanya GPU.
CPU hanya membangun versi
Versi build hanya CPU dari CNTK menggunakan Intel MKLML yang dioptimalkan, di mana MKLML adalah bagian dari MKL (Math Kernel Library) dan dirilis dengan Intel MKL-DNN sebagai versi Intel MKL untuk MKL-DNN yang dihentikan.
GPU hanya versi build
Di sisi lain, versi build khusus GPU dari CNTK menggunakan pustaka NVIDIA yang sangat dioptimalkan seperti CUB dan cuDNN. Ini mendukung pelatihan terdistribusi di beberapa GPU dan banyak mesin. Untuk pelatihan yang lebih cepat terdistribusi di CNTK, versi pembuatan GPU juga menyertakan -
SGD terkuantisasi 1-bit yang dikembangkan MSR.
Algoritme pelatihan paralel SGD blok-momentum.
Mengaktifkan GPU dengan CNTK di Windows
Di bagian sebelumnya, kami melihat cara menginstal versi dasar CNTK untuk digunakan dengan CPU. Sekarang mari kita bahas bagaimana kita dapat menginstal CNTK untuk digunakan dengan GPU. Tapi, sebelum mendalami lebih dalam, pertama-tama Anda harus memiliki kartu grafis yang didukung.
Saat ini, CNTK mendukung kartu grafis NVIDIA dengan setidaknya dukungan CUDA 3.0. Untuk memastikannya, Anda bisa mengecek dihttps://developer.nvidia.com/cuda-gpus apakah GPU Anda mendukung CUDA.
Jadi, mari kita lihat langkah-langkah untuk mengaktifkan GPU dengan CNTK di OS Windows -
Step 1 - Bergantung pada kartu grafis yang Anda gunakan, pertama-tama Anda harus memiliki driver GeForce atau Quadro terbaru untuk kartu grafis Anda.
Step 2 - Setelah Anda mengunduh driver, Anda perlu menginstal CUDA toolkit Versi 9.0 untuk Windows dari situs web NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64. Setelah menginstal, jalankan penginstal dan ikuti petunjuknya.
Step 3 - Selanjutnya, Anda perlu menginstal binari cuDNN dari situs NVIDIA https://developer.nvidia.com/rdp/form/cudnn-download-survey. Dengan versi CUDA 9.0, cuDNN 7.4.1 bekerja dengan baik. Pada dasarnya, cuDNN adalah lapisan di atas CUDA yang digunakan oleh CNTK.
Step 4 - Setelah mengunduh binari cuDNN, Anda perlu mengekstrak file zip ke folder root dari instalasi toolkit CUDA Anda.
Step 5- Ini adalah langkah terakhir yang akan mengaktifkan penggunaan GPU di dalam CNTK. Jalankan perintah berikut di dalam prompt Anaconda di OS Windows -
pip install cntk-gpuMengaktifkan GPU dengan CNTK di Linux
Mari kita lihat bagaimana kita dapat mengaktifkan GPU dengan CNTK di OS Linux -
Mendownload toolkit CUDA
Pertama, Anda perlu menginstal toolkit CUDA dari situs web NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type = runfilelocal .
Menjalankan penginstal
Sekarang, setelah Anda memiliki binari pada disk, jalankan penginstal dengan membuka terminal dan menjalankan perintah berikut dan instruksi di layar -
sh cuda_9.0.176_384.81_linux-runUbah skrip profil Bash
Setelah menginstal toolkit CUDA di mesin Linux Anda, Anda perlu memodifikasi skrip profil BASH. Untuk ini, pertama buka file $ HOME / .bashrc di editor teks. Sekarang, di akhir skrip, sertakan baris berikut -
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
InstallingMenginstal pustaka cuDNN
Akhirnya kita perlu menginstal binari cuDNN. Ini dapat diunduh dari situs web NVIDIAhttps://developer.nvidia.com/rdp/form/cudnn-download-survey. Dengan versi CUDA 9.0, cuDNN 7.4.1 bekerja dengan baik. Pada dasarnya, cuDNN adalah lapisan di atas CUDA yang digunakan oleh CNTK.
Setelah mengunduh versi untuk Linux, ekstrak ke /usr/local/cuda-9.0 folder dengan menggunakan perintah berikut -
tar xvzf -C /usr/local/cuda-9.0/ cudnn-9.0-linux-x64-v7.4.1.5.tgzUbah jalur ke nama file sesuai kebutuhan.