Microsoft Cognitive Toolkit (CNTK) - CPU และ GPU

Microsoft Cognitive Toolkit นำเสนอเวอร์ชันบิวด์ที่แตกต่างกันสองเวอร์ชัน ได้แก่ CPU-only และ GPU-only

ซีพียูรุ่นบิวด์เท่านั้น

CNTK เวอร์ชันสร้างเฉพาะ CPU ใช้ Intel MKLML ที่ปรับให้เหมาะสมโดยที่ MKLML เป็นชุดย่อยของ MKL (Math Kernel Library) และเผยแพร่พร้อมกับ Intel MKL-DNN เป็นเวอร์ชันสิ้นสุดของ Intel MKL สำหรับ MKL-DNN

GPU เวอร์ชันบิวด์เท่านั้น

ในทางกลับกัน CNTK เวอร์ชันสร้าง GPU เท่านั้นใช้ไลบรารี NVIDIA ที่ปรับให้เหมาะสมเช่น CUB และ cuDNN. สนับสนุนการฝึกอบรมแบบกระจายใน GPU หลายเครื่องและหลายเครื่อง สำหรับการฝึกอบรมแบบกระจายที่รวดเร็วยิ่งขึ้นใน CNTK เวอร์ชันสร้าง GPU ยังประกอบด้วย

  • MSR พัฒนา 1 บิตเชิงปริมาณ SGD

  • อัลกอริธึมการฝึกแบบคู่ขนานของ Block-momentum SGD

การเปิดใช้งาน GPU ด้วย CNTK บน Windows

ในหัวข้อก่อนหน้านี้เราได้เห็นวิธีการติดตั้ง CNTK เวอร์ชันพื้นฐานเพื่อใช้กับ CPU ตอนนี้เรามาคุยกันว่าเราจะติดตั้ง CNTK เพื่อใช้กับ GPU ได้อย่างไร ก่อนอื่นคุณควรมีการ์ดแสดงผลที่รองรับก่อน

ในปัจจุบัน CNTK รองรับการ์ดแสดงผล NVIDIA ที่รองรับ CUDA 3.0 เป็นอย่างน้อย เพื่อความแน่ใจคุณสามารถตรวจสอบได้ที่ https://developer.nvidia.com/cuda-gpus ว่า GPU ของคุณรองรับ CUDA หรือไม่

ดังนั้นให้เราดูขั้นตอนในการเปิดใช้งาน GPU ด้วย CNTK บน Windows OS -

Step 1 - ขึ้นอยู่กับการ์ดแสดงผลที่คุณใช้อันดับแรกคุณต้องมีไดรเวอร์ GeForce หรือ Quadro ล่าสุดสำหรับการ์ดแสดงผลของคุณ

Step 2 - เมื่อคุณดาวน์โหลดไดรเวอร์แล้วคุณต้องติดตั้งชุดเครื่องมือ CUDA เวอร์ชัน 9.0 สำหรับ Windows จากเว็บไซต์ NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64. หลังจากติดตั้งแล้วให้เรียกใช้โปรแกรมติดตั้งและปฏิบัติตามคำแนะนำ

Step 3 - ถัดไปคุณต้องติดตั้งไบนารี cuDNN จากเว็บไซต์ NVIDIA https://developer.nvidia.com/rdp/form/cudnn-download-survey. ด้วย CUDA 9.0 เวอร์ชัน cuDNN 7.4.1 ทำงานได้ดี โดยทั่วไป cuDNN คือเลเยอร์ที่อยู่ด้านบนของ CUDA ซึ่ง CNTK ใช้

Step 4 - หลังจากดาวน์โหลดไบนารี cuDNN แล้วคุณต้องแตกไฟล์ zip ลงในโฟลเดอร์รูทของการติดตั้งชุดเครื่องมือ CUDA ของคุณ

Step 5- นี่เป็นขั้นตอนสุดท้ายที่จะเปิดใช้งานการใช้งาน GPU ภายใน CNTK ดำเนินการคำสั่งต่อไปนี้ภายในพรอมต์ Anaconda บน Windows OS -

pip install cntk-gpu

การเปิดใช้งาน GPU ด้วย CNTK บน Linux

มาดูกันว่าเราจะเปิดใช้งาน GPU ด้วย CNTK บน Linux OS ได้อย่างไร -

การดาวน์โหลดชุดเครื่องมือ CUDA

ครั้งแรกที่คุณจำเป็นต้องติดตั้งเครื่องมือ CUDA จาก NVIDIA เว็บไซต์https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type =

เรียกใช้โปรแกรมติดตั้ง

ตอนนี้เมื่อคุณมีไบนารีบนดิสก์แล้วให้รันโปรแกรมติดตั้งโดยเปิดเทอร์มินัลและดำเนินการคำสั่งต่อไปนี้และคำแนะนำบนหน้าจอ -

sh cuda_9.0.176_384.81_linux-run

แก้ไขสคริปต์โปรไฟล์ Bash

หลังจากติดตั้งชุดเครื่องมือ CUDA บนเครื่อง Linux คุณต้องแก้ไขสคริปต์โปรไฟล์ BASH ขั้นแรกให้เปิดไฟล์ $ HOME / .bashrc ในโปรแกรมแก้ไขข้อความ ในตอนท้ายของสคริปต์ให้รวมบรรทัดต่อไปนี้ -

export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
Installing

การติดตั้งไลบรารี cuDNN

ในที่สุดเราต้องติดตั้งไบนารี cuDNN สามารถดาวน์โหลดได้จากเว็บไซต์ NVIDIAhttps://developer.nvidia.com/rdp/form/cudnn-download-survey. ด้วย CUDA 9.0 เวอร์ชัน cuDNN 7.4.1 ทำงานได้ดี โดยทั่วไป cuDNN คือเลเยอร์ที่อยู่ด้านบนของ CUDA ซึ่ง CNTK ใช้

เมื่อดาวน์โหลดเวอร์ชันสำหรับ Linux แล้วให้แตกไฟล์เป็นไฟล์ /usr/local/cuda-9.0 โฟลเดอร์โดยใช้คำสั่งต่อไปนี้ -

tar xvzf -C /usr/local/cuda-9.0/ cudnn-9.0-linux-x64-v7.4.1.5.tgz

เปลี่ยนเส้นทางเป็นชื่อไฟล์ตามต้องการ