como entender a saída do tensor de detecção de objetos tensorflowjs?

Question

Minha motivação é construir um aplicativo da web de detecção de objeções personalizado. Eu baixei uma modelo tf2pré - treinada SSD Resnet1010do zoológico modelo . Minha ideia é se essa implementação funcionar, vou treinar o modelo com meus próprios dados. Corri $saved_model_cli show --dir saved_model --tag_set serve --signature_def serving_defaultpara descobrir os nós de entrada e saída.

The given SavedModel SignatureDef contains the following input(s):
  inputs['input_tensor'] tensor_info:
      dtype: DT_UINT8
      shape: (1, -1, -1, 3)
      name: serving_default_input_tensor:0
The given SavedModel SignatureDef contains the following output(s):
  outputs['detection_anchor_indices'] tensor_info:
      dtype: DT_FLOAT
      shape: (1, 100)
      name: StatefulPartitionedCall:0
  outputs['detection_boxes'] tensor_info:
      dtype: DT_FLOAT
      shape: (1, 100, 4)
      name: StatefulPartitionedCall:1
  outputs['detection_classes'] tensor_info:
      dtype: DT_FLOAT
      shape: (1, 100)
      name: StatefulPartitionedCall:2
  outputs['detection_multiclass_scores'] tensor_info:
      dtype: DT_FLOAT
      shape: (1, 100, 91)
      name: StatefulPartitionedCall:3
  outputs['detection_scores'] tensor_info:
      dtype: DT_FLOAT
      shape: (1, 100)
      name: StatefulPartitionedCall:4
  outputs['num_detections'] tensor_info:
      dtype: DT_FLOAT
      shape: (1)
      name: StatefulPartitionedCall:5
  outputs['raw_detection_boxes'] tensor_info:
      dtype: DT_FLOAT
      shape: (1, 51150, 4)
      name: StatefulPartitionedCall:6
  outputs['raw_detection_scores'] tensor_info:
      dtype: DT_FLOAT
      shape: (1, 51150, 91)
      name: StatefulPartitionedCall:7
Method name is: tensorflow/serving/predict

Então eu converti o modelo para o modelo tensorflowjs, executando

tensorflowjs_converter --input_format=tf_saved_model --output_node_names='detection_anchor_indices,detection_boxes,detection_classes,detection_multiclass_scores,detection_scores,num_detections,raw_detection_boxes,raw_detection_scores' --saved_model_tags=serve --output_format=tfjs_graph_model saved_model js_model

Aqui está o meu código javascript (entra nos métodos vue)

    loadTfModel: async function(){
        try {
            this.model = await tf.loadGraphModel(this.MODEL_URL);
        } catch(error) {
            console.log(error);
        }

   },
    predictImg: async function() {
        const imgData = document.getElementById('img');
        let tf_img = tf.browser.fromPixels(imgData);
        tf_img = tf_img.expandDims(0);
        const predictions = await this.model.executeAsync(tf_img);
        const data = []
        for (let i = 0; i < predictions.length; i++){
            data.push(predictions[i].dataSync());
        }
        console.log(data);
    }

A saída é semelhante a esta:

Minha pergunta é se esses oito itens na matriz correspondem a oito nós de saída definidos? Como entender esses dados? e como convertê-lo em um formato legível como o python?
Atualização 1: tentei esta resposta e editei meu método de previsão:

predictImg: async function() {
        const imgData = document.getElementById('img');
        let tf_img = tf.browser.fromPixels(imgData);
        tf_img = tf_img.expandDims(0);
        const predictions = await this.model.executeAsync(tf_img, ['detection_classes']).then(predictions => {
            const data = predictions.dataSync()
            console.log('Predictions: ', data);
        })

    }

Acabei recebendo "Error: The output 'detection_classes' is not found in the graph",. Eu apreciaria qualquer ajuda.

Answer 1

Provavelmente pode haver um erro no nó de saída especificado em this.model.executeAsync(tf_img, ['detection_classes']). Além disso, não há necessidade de usar awaitaqui await this.model.executeAsync(tf_img, ['detection_classes']). Ou awaité usado ou thené usado.

A outra opção para obter o detection_classesé indexar a matriz de saída:

predictions[i].dataSync()[2]