Qual é a saída do YOLO?

Question

Estou tentando usar o YOLO para detectar a placa do carro em um aplicativo Android.

Então eu treino um modelo YOLOv3 e um YOLOv4 no Google Colab. Converti esses 2 modelos para TensorFlow Lite, usando o maravilhoso projeto de Hunglc007 e também verifiquei que estão funcionando e obtive o seguinte resultado:

Mas quando tento entender a saída do modelo para adaptá-lo em meu aplicativo, consegui usar o netron :

Por que tenho 2 saídas quando o modelo foi treinado para detectar apenas um único objeto?

E por que o formato da saída é assim, o que isso [1,1,4]representa?

EDITAR

O código para as bboxes pode ser encontrado aqui

boxes, scores, classes, valid_detections = tf.image.combined_non_max_suppression(
            boxes=tf.reshape(boxes, (tf.shape(boxes)[0], -1, 1, 4)),
            scores=tf.reshape(
                pred_conf, (tf.shape(pred_conf)[0], -1, tf.shape(pred_conf)[-1])),
            max_output_size_per_class=50,
            max_total_size=50,
            iou_threshold=FLAGS.iou,
            score_threshold=FLAGS.score
        )
        pred_bbox = [boxes.numpy(), scores.numpy(), classes.numpy(), valid_detections.numpy()]
        image = utils.draw_bbox(original_image, pred_bbox)
        # image = utils.draw_bbox(image_data*255, pred_bbox)
        image = Image.fromarray(image.astype(np.uint8))
        image.show()
        image = cv2.cvtColor(np.array(image), cv2.COLOR_BGR2RGB)
        cv2.imwrite(FLAGS.output + 'detection' + str(count) + '.png', image)

Answer 1

Não sou um especialista em Netron, mas ao inspecionar o problema e seus resultados esperados, vejo que ele deve produzir dois resultados para cada detecção; o retângulo de detecção e a confiança de detecção. Portanto, as duas saídas que você pergunta são provavelmente, o retângulo que é definido por 4 números flutuantes - duas coordenadas do canto superior esquerdo, largura e altura - e a confiança que é um número flutuante.

Answer 2

É bastante óbvio. Para modelo de detecção. Geralmente, ele deve fornecer pelo menos 2 saídas: caixas delimitadoras e classes em relação às caixas delimitadoras. Portanto, (1,1,4) é o resultado 4 para as caixas delimitadoras. O primeiro número 1 está de acordo com a sua busca de imagem no modelo. Como você tem apenas um objeto, a saída é 1 para o segundo número. Além disso, a configuração YOLO para caixas delimitadoras são (x_center, y_center, largura, altura)

(1,1,1) será o mesmo, mas agora 1 é para o rótulo da classe que você escolher.