Carregue pesos da última camada (camada de saída) para um novo modelo da rede treinada

Question

É possível carregar os pesos para a última camada em meu novo modelo da rede treinada usando o esquema set_weights e get_weights? O que quero dizer é que salvei o peso de cada camada como um arquivo tapete (após o treinamento) para fazer alguns cálculos no Matlab e quero apenas os pesos modificados da última camada para serem carregados para a última camada no meu novo modelo e outras camadas obtenha os mesmos pesos do modelo treinado. É um pouco trickey, já que o formato salvo é mat.

weights1 = lstm_model1.layers[0].get_weights()[0]
biases1 = lstm_model1.layers[0].get_weights()[1]
weights2 = lstm_model1.layers[2].get_weights()[0]
biases2 = lstm_model1.layers[2].get_weights()[1]
weights3 = lstm_model1.layers[4].get_weights()[0]
biases3 = lstm_model1.layers[4].get_weights()[1]
# Save the weights and biases for adaptation algorithm 
savemat("weights1.mat", mdict={'weights1': weights1})  
savemat("biases1.mat", mdict={'biases1': biases1})      
savemat("weights2.mat", mdict={'weights2': weights2})   
savemat("biases2.mat", mdict={'biases2': biases2})      
savemat("weights3.mat", mdict={'weights3': weights3}) 
savemat("biases3.mat", mdict={'biases3': biases3})  

Como posso carregar apenas os pesos antigos de outras camadas para o novo modelo (sem a última camada) e os pesos modificados da última camada para a última camada na nova?

Answer 1

Se ele foi salvo como um formato de arquivo .h5, isso funciona. No entanto, não tenho certeza sobre .mat:

Para simplificar, basta chamar get_weightsa camada desejada e, da mesma forma, set_weightsa camada correspondente do outro modelo:

last_layer_weights = old_model.layers[-1].get_weights()
new_model.layers[-1].set_weights(last_layer_weights)

Para um exemplo de código mais completo, aqui vai:

# Create an arbitrary model with some weights, for example
model = Sequential(layers = [
    Dense(70, input_shape = (100,)),
    Dense(60),
    Dense(50),
    Dense(5)])

# Save the weights of the model
model.save_weights(“model.h5”)

# Later, load in the model (we only really need the layer in question)
old_model = Sequential(layers = [
    Dense(70, input_shape = (100,)),
    Dense(60),
    Dense(50),
    Dense(5)])

old_model.load_weights(“model.h5”)

# Create a new model with slightly different architecture (except for the layer in question, at least)
new_model = Sequential(layers = [
    Dense(80, input_shape = (100,)),
    Dense(60),
    Dense(50),
    Dense(5)])

# Set the weights of the final layer of the new model to the weights of the final layer of the old model, but leaving other layers unchanged.
new_model.layers[-1].set_weights(old_model.layers[-1].get_weights())

# Assert that the weights of the final layer is the same, but other are not.
print (np.all(new_model.layers[-1].get_weights()[0] == old_model.layers[-1].get_weights()[0]))
>> True

print (np.all(new_model.layers[-2].get_weights()[0] == old_model.layers[-2].get_weights()[0]))
>> False