TensorFlow - เครื่องมือเพิ่มประสิทธิภาพ

เครื่องมือเพิ่มประสิทธิภาพเป็นคลาสเพิ่มเติมซึ่งรวมถึงข้อมูลเพิ่มเติมเพื่อฝึกโมเดลเฉพาะ คลาสเครื่องมือเพิ่มประสิทธิภาพเริ่มต้นด้วยพารามิเตอร์ที่กำหนด แต่สิ่งสำคัญคือต้องจำไว้ว่าไม่จำเป็นต้องใช้ Tensor เครื่องมือเพิ่มประสิทธิภาพใช้เพื่อปรับปรุงความเร็วและประสิทธิภาพสำหรับการฝึกอบรมเฉพาะรุ่น

เครื่องมือเพิ่มประสิทธิภาพพื้นฐานของ TensorFlow คือ -

tf.train.Optimizer

คลาสนี้กำหนดไว้ในพา ธ ที่ระบุของ tensorflow / python / training / optimizer.py

ต่อไปนี้เป็นเครื่องมือเพิ่มประสิทธิภาพบางส่วนใน Tensorflow -

  • Stochastic Gradient โคตร
  • Stochastic ไล่ระดับสีด้วยการตัดแบบไล่ระดับ
  • Momentum
  • โมเมนตัม Nesterov
  • Adagrad
  • Adadelta
  • RMSProp
  • Adam
  • Adamax
  • SMORMS3

เราจะเน้นโคตร Stochastic Gradient ภาพประกอบสำหรับการสร้างเครื่องมือเพิ่มประสิทธิภาพสำหรับสิ่งเดียวกันมีดังต่อไปนี้ -

def sgd(cost, params, lr = np.float32(0.01)):
   g_params = tf.gradients(cost, params)
   updates = []
   
   for param, g_param in zip(params, g_params):
      updates.append(param.assign(param - lr*g_param))
   return updates

พารามิเตอร์พื้นฐานถูกกำหนดไว้ภายในฟังก์ชันเฉพาะ ในบทต่อไปเราจะมุ่งเน้นไปที่การเพิ่มประสิทธิภาพการไล่ระดับสีด้วยการใช้เครื่องมือเพิ่มประสิทธิภาพ