Congela il modello e addestralo

Question

Sto usando Keras Tensorflow in Colab. Adattamento un modello e lo salvo. Quindi lo carico e controllo le prestazioni e ovviamente dovrebbe essere lo stesso. Poi lo congelo e lo rimetto a posto. Mi aspetto che in seguito il modello abbia le stesse prestazioni. Ovviamente durante "l'addestramento" a causa delle differenze di dimensione del lotto possono esserci differenze nella precisione. Ma in seguito, controllandolo con model.evaluate, non mi sarei aspettato differenze, poiché i pesi non possono essere modificati, poiché il modello è stato congelato. Tuttavia, risulta che non è così.

Il mio codice:

import csv
import tensorflow as tf
import tensorflow_datasets as tfds
import numpy as np
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

(train_x, train_labels), (test_x, test_labels) = tf.keras.datasets.imdb.load_data(num_words=10000)

x_train_padded = pad_sequences(train_x, maxlen=500)
x_test_padded = pad_sequences(test_x, maxlen=500)

model = tf.keras.Sequential([
    tf.keras.layers.Embedding(10000, 128, input_length=500),
    tf.keras.layers.Conv1D(128, 5, activation='relu'),
    tf.keras.layers.GlobalAveragePooling1D(),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])

model.compile(loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),optimizer='adam', metrics=[tf.metrics.BinaryAccuracy(threshold=0.0, name='accuracy')])

history = model.fit(x=x_train_padded,
                      y=train_labels,
                      validation_data=(x_test_padded , test_labels),
                      epochs=4, batch_size=128)

dà l'output:

Salvo il modello:

model.save('test.h5')

e ricaricalo:

modelloaded=tf.keras.models.load_model('test.h5')

e controlla le prestazioni:

modelloaded.evaluate(x_test_padded , test_labels)

ovviamente sempre lo stesso:

Ora ho impostato il modello su non addestrabile:

modelloaded.trainable=False

e senza dubbio:

modelloaded.summary()

mostra che tutti i parametri non sono addestrabili:

Ora lo rimetto a posto, usando solo un'epoca:

history = modelloaded.fit(x=x_train_padded,
                      y=train_labels,
                      validation_data=(x_test_padded , test_labels),
                      epochs=1, batch_size=128)

Capisco che sebbene i pesi non siano addestrabili, la precisione cambia poiché dipende dalle dimensioni del lotto.

Tuttavia, quando controllo il modello in seguito con:

modelloaded.evaluate(x_test_padded , test_labels)

Posso vedere che il modello è stato cambiato? La perdita e la precisione sono diverse. Non capisco perché, mi sarei aspettato gli stessi numeri. Poiché il modello non può essere addestrato. Non importa se lo chiamo con lotti di dimensioni diverse:

modelloaded.evaluate(x_test_padded , test_labels, batch_size=16)

I numeri sono sempre gli stessi, comunque diversi da quelli prima dell'allestimento del modello.

Modificare:

Ho provato quanto segue:

modelloaded=tf.keras.models.load_model('test.h5')
modelloaded.trainable=False

for layer in modelloaded.layers:
  layer.trainable=False

history = modelloaded.fit(x=x_train_padded,
                          y=train_labels,
                          validation_data=(x_test_padded , test_labels),
                          epochs=1, batch_size=128)

modelloaded.evaluate(x_test_padded, test_labels)

Tuttavia, i pesi sono ancora aggiustati (l'ho controllato confrontando print(modelloaded.trainable_variables)prima e dopo) e l'output modelloaded.evaluate dà risultati leggermente diversi, dove non mi aspetto cambiamenti. Poiché i pesi del modello non dovrebbero essere cambiati. Ma lo hanno fatto, come posso vedere durante il controllo print(modelloaded.trainable_variables).

Answer 1

Questo sembra essere un problema più grande che viene discusso qui . L'impostazione di tutti i livelli esplicitamente non addestrabili dovrebbe funzionare:

for layer in modelloaded.layers:
        layer.trainable = False

Answer 2

Il mio errore è stato quello di non compilare nuovamente il modello dopo averlo impostato su non addestrabile.

Answer 3

Devi compilare il modello prima di adattarlo di nuovo, o la funzione fit prenderà la tua ultima configurazione di compilazione ...