ไม่สามารถตรวจจับจุดสังเกตบนใบหน้าโดยใช้ OpenCV2

Question

ฉันได้พัฒนาสคริปต์โดยใช้dlibและcv2เพื่อวาดจุดสังเกตบนภาพที่มีใบหน้าเดียวในภาพนั้น นี่คือสคริปต์;

import cv2
import dlib

img_path = 'landmarks.png'
detector = dlib.get_frontal_face_detector()

shape_predictor = 'shape_predictor_68_face_landmarks.dat'
predictor = dlib.shape_predictor(shape_predictor)


count = 1
ready = True
while ready:
    frame = cv2.imread("demo.jpg")
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    faces = detector(gray)
    for face in faces:
        x1 = face.left()
        y1 = face.top()
        x2 = face.right()
        y2 = face.bottom()
        cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 3)

        landmarks = predictor(gray, face)

        for n in range(0, 68):
            x = landmarks.part(n).x
            y = landmarks.part(n).y
            cv2.circle(frame, (x, y), 4, (255, 0, 0), -1)

    cv2.imshow("Frame", frame)
    cv2.waitKey(0)
    ready = False

ตอนนี้สิ่งที่ทำให้ฉันเป็นบ้า เมื่อฉันพยายามดาวน์โหลดภาพใด ๆ (มีหรือไม่มีมาสก์) จาก google เพื่อทดสอบสคริปต์นี้ใช้งานได้ดี ในทำนองเดียวกันคุณสามารถเห็นผลลัพธ์เหล่านี้เช่น

แต่เมื่อลองดูภาพต่อไปนี้กลับไม่ได้ผลเลย

ฉันได้ทำการค้นหาสองสามครั้งทางอินเทอร์เน็ต แต่ฉันไม่พบสิ่งใดที่ตอบสนองจุดประสงค์ปัจจุบัน

แม้ฉันได้ลองใช้การรวมกันของ

• cv2.CascadeClassifier("haarcascade_frontalface_default.xml")
• eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')
• m_cascade = cv2.CascadeClassifier('haarcascade_mcs_mouth.xml')

ฉันได้ดูลิงก์ที่มีประโยชน์ต่อไปนี้ด้วย

• กล่องผูกหน้า

• ตรวจจับจุดสังเกตใบหน้าใน Android (แม้ไม่ใช่โดเมนเดียวกัน)

• การตรวจจับจุดสังเกต

• OpenCV2 ตรวจจับจุดสังเกตบนใบหน้า

แต่ก็ใช้ไม่ได้กับภาพเหล่านี้ CV2 detectorแสดงรายการว่างเมื่อฉันดีบักผ่านสคริปต์เช่น;

ฉันแค่ต้องการวาดจุดสังเกตที่สำคัญโดยใช้ภาพด้านบน อะไรจะเป็นทางออกที่ดีที่สุดที่ฉันสามารถทำได้? บางทีฉันอาจพลาดบางอย่างในcv2& Dlibแต่ไม่สามารถรับผลลัพธ์ตามที่ต้องการได้

ฉันยังพบคะแนนความเชื่อมั่นสำหรับการdlibใช้การใช้งานที่แนะนำจากStack Overflow geekเช่น;

import dlib

detector = dlib.get_frontal_face_detector()

img = dlib.load_rgb_image('demo.jpg')
dets, scores, idx = detector.run(img, 1, -1)
for i, d in enumerate(dets):
    print("Detection {}, score: {}, face_type:{}".format(
        d, scores[i], idx[i]))

นี่คือผลลัพธ์ของคะแนนความเชื่อมั่นสำหรับภาพแรกในภาพที่กำหนดด้านบนในแถวที่สอง

รอคอยที่จะได้รับการวิจัยที่ดีขึ้นจากคนที่ยอดเยี่ยมที่นั่น ขอบคุณ

Answer 1

ก่อนอื่นฉันอาจลองดูว่าคุณจะได้คะแนนความเชื่อมั่นจาก dlib หรือไม่ ฉันไม่แน่ใจว่าเกณฑ์ความเชื่อมั่นคืออะไร แต่อาจตรวจพบใบหน้าที่ต่ำกว่าขีด จำกัด จากdlib Git Repoนี่คือตัวอย่างของวิธีรับความมั่นใจจากการตรวจจับ:

if (len(sys.argv[1:]) > 0):
    img = dlib.load_rgb_image(sys.argv[1])
    dets, scores, idx = detector.run(img, 1, -1)
    for i, d in enumerate(dets):
        print("Detection {}, score: {}, face_type:{}".format(
            d, scores[i], idx[i]))

หรือพิจารณาเครื่องตรวจจับใบหน้าอื่นเช่นเครื่องตรวจจับที่ใช้ CNN เช่นเครื่องตรวจจับใบหน้าMobileNet SSD ฉันไม่ได้ใช้รุ่นนี้โดยเฉพาะ แต่ฉันเคยใช้รุ่นที่คล้ายกันเช่นรุ่นเครื่องตรวจจับใบหน้าที่ใช้ Google TPU ซึ่งให้ผลลัพธ์ที่ดีมาก

Answer 2

ดาวน์โหลดลิงก์ " shape_predictor_68_face_landmarks.dat ": ป้อนคำอธิบายลิงก์ที่นี่

รหัสที่ใช้งานได้ 100% ลองใช้อันนี้:

import cv2
import dlib
import numpy as np

img= cv2.imread('Capture 8.PNG')
gray=cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

p = "shape_predictor_68_face_landmarks.dat"
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor(p)
faces = detector(gray)

for face in faces:
  x1=face.left()
  y1=face.top()
  x2=face.right()
  y2=face.bottom()
  cv2.rectangle(img, (x1,y1), (x2,y2),(0,255,0),3)
  landmarks=predictor(gray, face)
  for n in range(0,68):
    x=landmarks.part(n).x
    y=landmarks.part(n).y
    cv2.circle(img, (x, y), 4, (0, 0, 255), -1)

cv2.imshow(img)