การตรวจจับวัตถุบน Android ด้วย Tensorflow Lite

Question

กำลังพยายามใช้โมเดลการตรวจจับวัตถุที่กำหนดเองด้วย Tensorflow Lite โดยใช้ Android Studio ฉันทำตามคำแนะนำที่ให้ไว้ที่นี่: การทำงานบนมือถือด้วย TensorFlow Liteแต่ไม่ประสบความสำเร็จ โมเดลตัวอย่างทำงานอย่างถูกต้องโดยแสดงป้ายกำกับที่ตรวจพบทั้งหมด อย่างไรก็ตามเมื่อฉันลองใช้โมเดลที่กำหนดเองของฉันฉันไม่ได้รับป้ายกำกับใด ๆเลย ฉันได้ลองกับรุ่นอื่น ๆ ด้วย (จากอินเทอร์เน็ต แต่ผลลัพธ์ก็เหมือนกัน) เปรียบเสมือนว่าป้ายกำกับไม่ได้ถูกส่งผ่านด้วยวิธีการเขียน ฉันคัดลอกdetect.tfliteและlabelmap.txt ของฉันฉันเปลี่ยนTF_OD_API_INPUT_SIZEและTF_OD_API_IS_QUANTIZEDในDetectorActivity.java แต่ยังไม่ได้รับผลลัพธ์ (ตรวจพบคลาสที่มีกรอบล้อมรอบและคะแนน)

Logcatแสดงให้เห็นต่อไปนี้:

2020-10-11 18:37:54.315 31681-31681/org.tensorflow.lite.examples.detection E/HAL: PATH3 /odm/lib64/hw/gralloc.qcom.so
2020-10-11 18:37:54.315 31681-31681/org.tensorflow.lite.examples.detection E/HAL: PATH2 /vendor/lib64/hw/gralloc.qcom.so
2020-10-11 18:37:54.315 31681-31681/org.tensorflow.lite.examples.detection E/HAL: PATH1 /system/lib64/hw/gralloc.qcom.so
2020-10-11 18:37:54.315 31681-31681/org.tensorflow.lite.examples.detection E/HAL: PATH3 /odm/lib64/hw/gralloc.msm8953.so
2020-10-11 18:37:54.315 31681-31681/org.tensorflow.lite.examples.detection E/HAL: PATH2 /vendor/lib64/hw/gralloc.msm8953.so
2020-10-11 18:37:54.315 31681-31681/org.tensorflow.lite.examples.detection E/HAL: PATH1 /system/lib64/hw/gralloc.msm8953.so
2020-10-11 18:37:54.859 31681-31681/org.tensorflow.lite.examples.detection E/tensorflow: CameraActivity: Exception!
    java.lang.IllegalStateException: This model does not contain associated files, and is not a Zip file.
        at org.tensorflow.lite.support.metadata.MetadataExtractor.assertZipFile(MetadataExtractor.java:325)
        at org.tensorflow.lite.support.metadata.MetadataExtractor.getAssociatedFile(MetadataExtractor.java:165)
        at org.tensorflow.lite.examples.detection.tflite.TFLiteObjectDetectionAPIModel.create(TFLiteObjectDetectionAPIModel.java:118)
        at org.tensorflow.lite.examples.detection.DetectorActivity.onPreviewSizeChosen(DetectorActivity.java:96)
        at org.tensorflow.lite.examples.detection.CameraActivity.onPreviewFrame(CameraActivity.java:200)
        at android.hardware.Camera$EventHandler.handleMessage(Camera.java:1157) at android.os.Handler.dispatchMessage(Handler.java:102) at android.os.Looper.loop(Looper.java:165) at android.app.ActivityThread.main(ActivityThread.java:6375) at java.lang.reflect.Method.invoke(Native Method) at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:912)
        at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:802)

ฉันจะตรวจจับได้อย่างไร? ฉันต้องการไฟล์เพิ่มเติม (ข้อมูลเมตา) ที่สัมพันธ์กับป้ายกำกับหรือฉันทำผิดอย่างอื่น? กรณีข้างต้นได้รับการทดสอบกับอุปกรณ์ Android 7 ขอบคุณ!

Answer 1

นี่เป็นปัญหาเกี่ยวกับเอกสารนี้โดยเฉพาะที่ไม่ได้อัปเดต

ปัญหาหลักคือตัวอย่างได้รับการอัปเดตเพื่อใช้โมเดลที่มีMetadataแนบมาโดยเฉพาะกับป้ายกำกับที่ฝังไว้เป็นเนื้อหาของโมเดล

เมื่อคุณเพิ่มไฟล์ป้ายกำกับของคุณลงในโมเดลทุกอย่างก็จะใช้ได้

Answer 2

ดูเหมือนการถดถอยที่นั่น คุณลองทำสิ่งต่อไปนี้ได้ไหม

<at your TF example repo>
$ git checkout de42482b453de6f7b6488203b20e7eec61ee722e^

Answer 3

เพื่อให้เข้าใจวิธีแก้ปัญหาที่แนะนำโดย Gusthema ได้ดีขึ้นฉันให้รหัสที่ใช้ได้กับกรณีของฉัน:

pip install tflite-support

from tflite_support import flatbuffers
from tflite_support import metadata as _metadata
from tflite_support import metadata_schema_py_generated as _metadata_fb


# Creates model info.
model_meta = _metadata_fb.ModelMetadataT()
model_meta.name = "MobileNetV1 image classifier"
model_meta.description = ("Identify Unesco Monuments Route"
                          "image from a set of 18 categories")
model_meta.version = "v1"
model_meta.author = "TensorFlow"
model_meta.license = ("Apache License. Version 2.0 "
                      "http://www.apache.org/licenses/LICENSE-2.0.")


# Creates input info.
input_meta = _metadata_fb.TensorMetadataT()

# Creates output info.
output_meta = _metadata_fb.TensorMetadataT()


input_meta.name = "image"
input_meta.description = (
    "Input image to be classified. The expected image is {0} x {1}, with "
    "three channels (red, blue, and green) per pixel. Each value in the "
    "tensor is a single byte between 0 and 255.".format(300, 300))
input_meta.content = _metadata_fb.ContentT()
input_meta.content.contentProperties = _metadata_fb.ImagePropertiesT()
input_meta.content.contentProperties.colorSpace = (
    _metadata_fb.ColorSpaceType.RGB)
input_meta.content.contentPropertiesType = (
    _metadata_fb.ContentProperties.ImageProperties)
input_normalization = _metadata_fb.ProcessUnitT()
input_normalization.optionsType = (
    _metadata_fb.ProcessUnitOptions.NormalizationOptions)
input_normalization.options = _metadata_fb.NormalizationOptionsT()
input_normalization.options.mean = [127.5]
input_normalization.options.std = [127.5]
input_meta.processUnits = [input_normalization]
input_stats = _metadata_fb.StatsT()
input_stats.max = [255]
input_stats.min = [0]
input_meta.stats = input_stats



# Creates output info.
output_meta = _metadata_fb.TensorMetadataT()
output_meta.name = "probability"
output_meta.description = "Probabilities of the 18 labels respectively."
output_meta.content = _metadata_fb.ContentT()
output_meta.content.content_properties = _metadata_fb.FeaturePropertiesT()
output_meta.content.contentPropertiesType = (
    _metadata_fb.ContentProperties.FeatureProperties)
output_stats = _metadata_fb.StatsT()
output_stats.max = [1.0]
output_stats.min = [0.0]
output_meta.stats = output_stats
label_file = _metadata_fb.AssociatedFileT()
label_file.name = os.path.basename('/content/gdrive/My Drive/models/research/deploy/labelmap.txt')
label_file.description = "Labels for objects that the model can recognize."
label_file.type = _metadata_fb.AssociatedFileType.TENSOR_AXIS_LABELS
output_meta.associatedFiles = [label_file]


# Creates subgraph info.
subgraph = _metadata_fb.SubGraphMetadataT()
subgraph.inputTensorMetadata = [input_meta]
subgraph.outputTensorMetadata = 4*[output_meta]
model_meta.subgraphMetadata = [subgraph]

b = flatbuffers.Builder(0)
b.Finish(
    model_meta.Pack(b),
    _metadata.MetadataPopulator.METADATA_FILE_IDENTIFIER)
metadata_buf = b.Output()


# metadata and the label file are written into the TFLite file
populator = _metadata.MetadataPopulator.with_model_file('/content/gdrive/My Drive/models/research/object_detection/exported_model/detect.tflite')
populator.load_metadata_buffer(metadata_buf)
populator.load_associated_files(['/content/gdrive/My Drive/models/research/deploy/labelmap.txt'])
populator.populate()

ในที่สุดหากคุณต้องการสร้างไฟล์ json เพื่อแสดงผลลัพธ์ (ไฟล์ข้อมูลเมตา) คุณสามารถใช้:

displayer = _metadata.MetadataDisplayer.with_model_file('/content/gdrive/My Drive/models/research/object_detection/exported_model/detect.tflite')
export_json_file = os.path.join('/content/gdrive/My Drive/models/research/object_detection/exported_model',
                    os.path.splitext('detect.tflite')[0] + ".json")
json_file = displayer.get_metadata_json()
# Optional: write out the metadata as a json file
with open(export_json_file, "w") as f:
  f.write(json_file)

ปล: โปรดระมัดระวังในการเปลี่ยนโค้ดบางส่วนเพื่อให้เข้ากันได้กับความต้องการของคุณ (เช่นหากคุณใช้รูปภาพขนาด 512x512 คุณต้องแก้ไขจากตัวแปร "input_meta.description")