Microsoft Cognitive Toolkit (CNTK) - CPU และ GPU
Microsoft Cognitive Toolkit นำเสนอเวอร์ชันบิวด์ที่แตกต่างกันสองเวอร์ชัน ได้แก่ CPU-only และ GPU-only
ซีพียูรุ่นบิวด์เท่านั้น
CNTK เวอร์ชันสร้างเฉพาะ CPU ใช้ Intel MKLML ที่ปรับให้เหมาะสมโดยที่ MKLML เป็นชุดย่อยของ MKL (Math Kernel Library) และเผยแพร่พร้อมกับ Intel MKL-DNN เป็นเวอร์ชันสิ้นสุดของ Intel MKL สำหรับ MKL-DNN
GPU เวอร์ชันบิวด์เท่านั้น
ในทางกลับกัน CNTK เวอร์ชันสร้าง GPU เท่านั้นใช้ไลบรารี NVIDIA ที่ปรับให้เหมาะสมเช่น CUB และ cuDNN. สนับสนุนการฝึกอบรมแบบกระจายใน GPU หลายเครื่องและหลายเครื่อง สำหรับการฝึกอบรมแบบกระจายที่รวดเร็วยิ่งขึ้นใน CNTK เวอร์ชันสร้าง GPU ยังประกอบด้วย
MSR พัฒนา 1 บิตเชิงปริมาณ SGD
อัลกอริธึมการฝึกแบบคู่ขนานของ Block-momentum SGD
การเปิดใช้งาน GPU ด้วย CNTK บน Windows
ในหัวข้อก่อนหน้านี้เราได้เห็นวิธีการติดตั้ง CNTK เวอร์ชันพื้นฐานเพื่อใช้กับ CPU ตอนนี้เรามาคุยกันว่าเราจะติดตั้ง CNTK เพื่อใช้กับ GPU ได้อย่างไร ก่อนอื่นคุณควรมีการ์ดแสดงผลที่รองรับก่อน
ในปัจจุบัน CNTK รองรับการ์ดแสดงผล NVIDIA ที่รองรับ CUDA 3.0 เป็นอย่างน้อย เพื่อความแน่ใจคุณสามารถตรวจสอบได้ที่ https://developer.nvidia.com/cuda-gpus ว่า GPU ของคุณรองรับ CUDA หรือไม่
ดังนั้นให้เราดูขั้นตอนในการเปิดใช้งาน GPU ด้วย CNTK บน Windows OS -
Step 1 - ขึ้นอยู่กับการ์ดแสดงผลที่คุณใช้อันดับแรกคุณต้องมีไดรเวอร์ GeForce หรือ Quadro ล่าสุดสำหรับการ์ดแสดงผลของคุณ
Step 2 - เมื่อคุณดาวน์โหลดไดรเวอร์แล้วคุณต้องติดตั้งชุดเครื่องมือ CUDA เวอร์ชัน 9.0 สำหรับ Windows จากเว็บไซต์ NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64. หลังจากติดตั้งแล้วให้เรียกใช้โปรแกรมติดตั้งและปฏิบัติตามคำแนะนำ
Step 3 - ถัดไปคุณต้องติดตั้งไบนารี cuDNN จากเว็บไซต์ NVIDIA https://developer.nvidia.com/rdp/form/cudnn-download-survey. ด้วย CUDA 9.0 เวอร์ชัน cuDNN 7.4.1 ทำงานได้ดี โดยทั่วไป cuDNN คือเลเยอร์ที่อยู่ด้านบนของ CUDA ซึ่ง CNTK ใช้
Step 4 - หลังจากดาวน์โหลดไบนารี cuDNN แล้วคุณต้องแตกไฟล์ zip ลงในโฟลเดอร์รูทของการติดตั้งชุดเครื่องมือ CUDA ของคุณ
Step 5- นี่เป็นขั้นตอนสุดท้ายที่จะเปิดใช้งานการใช้งาน GPU ภายใน CNTK ดำเนินการคำสั่งต่อไปนี้ภายในพรอมต์ Anaconda บน Windows OS -
pip install cntk-gpu
การเปิดใช้งาน GPU ด้วย CNTK บน Linux
มาดูกันว่าเราจะเปิดใช้งาน GPU ด้วย CNTK บน Linux OS ได้อย่างไร -
การดาวน์โหลดชุดเครื่องมือ CUDA
ครั้งแรกที่คุณจำเป็นต้องติดตั้งเครื่องมือ CUDA จาก NVIDIA เว็บไซต์https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type =
เรียกใช้โปรแกรมติดตั้ง
ตอนนี้เมื่อคุณมีไบนารีบนดิสก์แล้วให้รันโปรแกรมติดตั้งโดยเปิดเทอร์มินัลและดำเนินการคำสั่งต่อไปนี้และคำแนะนำบนหน้าจอ -
sh cuda_9.0.176_384.81_linux-run
แก้ไขสคริปต์โปรไฟล์ Bash
หลังจากติดตั้งชุดเครื่องมือ CUDA บนเครื่อง Linux คุณต้องแก้ไขสคริปต์โปรไฟล์ BASH ขั้นแรกให้เปิดไฟล์ $ HOME / .bashrc ในโปรแกรมแก้ไขข้อความ ในตอนท้ายของสคริปต์ให้รวมบรรทัดต่อไปนี้ -
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
Installing
การติดตั้งไลบรารี cuDNN
ในที่สุดเราต้องติดตั้งไบนารี cuDNN สามารถดาวน์โหลดได้จากเว็บไซต์ NVIDIAhttps://developer.nvidia.com/rdp/form/cudnn-download-survey. ด้วย CUDA 9.0 เวอร์ชัน cuDNN 7.4.1 ทำงานได้ดี โดยทั่วไป cuDNN คือเลเยอร์ที่อยู่ด้านบนของ CUDA ซึ่ง CNTK ใช้
เมื่อดาวน์โหลดเวอร์ชันสำหรับ Linux แล้วให้แตกไฟล์เป็นไฟล์ /usr/local/cuda-9.0 โฟลเดอร์โดยใช้คำสั่งต่อไปนี้ -
tar xvzf -C /usr/local/cuda-9.0/ cudnn-9.0-linux-x64-v7.4.1.5.tgz
เปลี่ยนเส้นทางเป็นชื่อไฟล์ตามต้องการ