TensorFlow - Pengoptimal

Pengoptimal adalah kelas yang diperluas, yang menyertakan informasi tambahan untuk melatih model tertentu. Kelas pengoptimal diinisialisasi dengan parameter yang diberikan, tetapi penting untuk diingat bahwa Tensor tidak diperlukan. Pengoptimal digunakan untuk meningkatkan kecepatan dan performa untuk melatih model tertentu.

Pengoptimal dasar TensorFlow adalah -

tf.train.Optimizer

Kelas ini didefinisikan di jalur tensorflow / python / training / optimizer.py yang ditentukan.

Berikut adalah beberapa pengoptimal di Tensorflow -

Penurunan Stochastic Gradient
Penurunan Gradien Stochastic dengan pemotongan gradien
Momentum
Momentum Nesterov
Adagrad
Adadelta
RMSProp
Adam
Adamax
SMORMS3

Kami akan fokus pada penurunan Gradien Stochastic. Ilustrasi untuk membuat pengoptimal untuk hal yang sama disebutkan di bawah -

def sgd(cost, params, lr = np.float32(0.01)):
   g_params = tf.gradients(cost, params)
   updates = []
   
   for param, g_param in zip(params, g_params):
      updates.append(param.assign(param - lr*g_param))
   return updates

The basic parameters are defined within the specific function. In our subsequent chapter, we will focus on Gradient Descent Optimization with implementation of optimizers.