คุณได้ยินเสียงภาพไหม

Mar 22 2023
ขณะนี้ฉันทำงานเป็นวิศวกร Android ที่ Bumble แต่เนื้อหาในบทความนี้ไม่เกี่ยวข้องกับงานของฉันที่ Bumble การช่วยสำหรับการเข้าถึงไม่ใช่ฟีเจอร์ แต่เป็นกระแสสังคม — Antonio Santos การช่วยสำหรับการเข้าถึงเป็นสิ่งที่มักถูกมองข้ามในการพัฒนาแอพ

ขณะนี้ฉันทำงานเป็นวิศวกร Android ที่ Bumble แต่เนื้อหาในบทความนี้ไม่เกี่ยวข้องกับงานของฉันที่ Bumble

การช่วยสำหรับการเข้าถึงไม่ใช่คุณลักษณะ แต่เป็นกระแสสังคม — อันโตนิโอ ซานโตส

การช่วยสำหรับการเข้าถึงเป็นสิ่งที่มักถูกมองข้ามในการพัฒนาแอพ ต้องใช้ความคิดที่รอบคอบเกี่ยวกับการออกแบบและการนำไปใช้งาน น่าเสียดายที่นักพัฒนาซอฟต์แวร์จำนวนมากเห็นว่าไม่คุ้มค่ากับความพยายาม เนื่องจากฐานผู้ใช้ของพวกเขายังไม่มีผู้ใช้จำนวนมากที่ใช้คุณสมบัติการช่วยสำหรับการเข้าถึง

ปัญหาอยู่ที่ตรงนี้ หากคุณไม่พัฒนาแอปของคุณโดยคำนึงถึงการช่วยสำหรับการเข้าถึง ผู้คนที่ใช้คุณสมบัติการช่วยสำหรับการเข้าถึงจะไม่ดาวน์โหลดแอปของคุณ ดังนั้นฐานผู้ใช้ของคุณจึงใช้คุณลักษณะการช่วยสำหรับการเข้าถึงโดยใช้ผู้คนเป็นหลัก สิ่งนี้ทำให้นักพัฒนาคิดว่าการใช้คุณสมบัติการช่วยสำหรับการเข้าถึงนั้นไม่เป็นประโยชน์ ดังนั้นพวกเขาจึงไม่ทำ และวงจรยังคงดำเนินต่อไป

แหล่งที่มา

เมื่อเร็ว ๆ นี้ ฉันฟังคนพูดถึงการช่วยสำหรับการเข้าถึงบนแอปบนอุปกรณ์เคลื่อนที่ และพวกเขาชี้ให้เห็นว่าสิ่งแรกที่คุณเห็นในโปรไฟล์ของใครบางคนคือรูปถ่ายของพวกเขา จากนั้นพวกเขาชี้ให้ทุกคนเห็นว่าพวกเขามีความบกพร่องทางสายตา พวกเขามองไม่เห็น และได้รับเพียงข้อความสั้นๆ ที่แจ้งว่ามีภาพถ่ายในส่วนนี้ของหน้าจอ

ฉันได้ยินคุณพูดว่า"อืม ใช่ มันจะทำอะไรอีก" .

และคุณก็จะสันนิษฐานได้ถูกต้องว่ามันเป็นสิ่งที่โปรแกรมอ่านหน้าจอเกือบทุกคนทำเมื่อพบรูปภาพ และนั่นเป็นเพราะนักพัฒนาให้โปรแกรมอ่านหน้าจอพร้อมข้อความแสดงแทน ( ข้อความแสดงแทน ) เพื่ออ่านแทน และสิ่งที่ง่ายที่สุดในสถานการณ์นี้คือการเขียน:

altText = "image"

หากเราพิจารณาลักษณะบางอย่างที่เรามักจะสังเกตเห็นเกี่ยวกับบุคคลเมื่อเราเห็นรูปถ่ายของพวกเขา ฉันแน่ใจว่ามันน่าจะมาจาก: สีผมของพวกเขา สีตา พวกเขาสวมแว่นตาหรือไม่? เป็นต้น จะเป็นอย่างไรหากโปรแกรมอ่านหน้าจอสามารถบอกคุณข้อมูลทั้งหมดแทนคำว่า "นี่คือรูปภาพ"

ขอแนะนำ TensorFlow Lite

TensorFlow เป็นแพลตฟอร์มสำหรับแมชชีนเลิร์นนิงและมอบไลบรารี่ Android (และ iOS อีกหนึ่งตัว!) ที่เป็นประโยชน์มาก ซึ่งฉันจะใช้ในตัวอย่างนี้

หากเราพิจารณาลักษณะเฉพาะอย่างใดอย่างหนึ่งจากตัวอย่างก่อนหน้านี้: สีผม; เราสามารถ “สอน” แอปให้รู้ว่าคนในภาพมีผมสีอะไร

ในการเริ่มต้น ฉันจะถือว่าคุณรู้วิธีสร้างแอป Android (ถ้าไม่ใช่นี่คือบทช่วยสอน ) ดังนั้น ดำเนินการต่อและสร้างโครงการใหม่

นี่คือลักษณะของฉัน:

ที่มาภาพ

ฉันมี ImageView ของรูปภาพที่ต้องการทราบข้อมูลเพิ่มเติม และปุ่มที่ฉันจะใช้กำหนดสีผม นอกจากนี้ยังมี TextView ที่ฉันจะใช้เพื่อแสดงผลลัพธ์ใต้ปุ่ม

คุณจะต้องนำเข้า TensorFlow Lite ด้วย:

implementation 'org.tensorflow:tensorflow-lite-support:0.1.0'
implementation 'org.tensorflow:tensorflow-lite-metadata:0.1.0'

aaptOptions {
    noCompress "tflite"
}

การฝึกอบรมแบบจำลอง

ก่อนที่เราจะไปไกลกว่านี้ เราต้องฝึกโมเดลก่อน โมเดลคือสิ่งที่แอปของเราจะใช้ในการตัดสินใจว่าสีผมในรูปภาพของเราจะเป็นสีอะไร

มีสองสามวิธีในการทำเช่นนี้ แต่เนื่องจากฉันจำกัดพลังการประมวลผลของเครื่อง ฉันจึงเลือกใช้CoLab (ตัวเลือกนี้กำหนดให้คุณต้องเขียน Python แต่ไม่ต้องกังวลหากคุณไม่คุ้นเคย ฉันจะวาง รหัสที่คุณต้องการที่นี่)

ไปข้างหน้าและสร้างสมุดบันทึกใหม่ใน CoLab และวางสิ่งต่อไปนี้:

!pip install tf-nightly
!pip install tflite-model-maker

จากนั้น ในสมุดบันทึกเดียวกัน ให้เพิ่มการนำเข้าหลามต่อไปนี้:

from tflite_model_maker import image_classifier
from tflite_model_maker.image_classifier import DataLoader

data = DataLoader.from_folder('test-data/')
model = image_classifier.create(data)
loss, accuracy = model.evaluate(data)
model.export(export_dir='/tmp/')

วิธีนี้จะโหลดรูปภาพจากโฟลเดอร์ชื่อ test-data จัดประเภท จากนั้นสร้างโมเดล TensorFlow ในโฟลเดอร์ /tmp/

แต่ก่อนที่เราจะรันโค้ดนี้ เราต้องใส่รูปภาพลงในโฟลเดอร์ข้อมูลทดสอบของเรา เพื่อให้ได้ผล เราจำเป็นต้องมีโฟลเดอร์ภายในข้อมูลทดสอบสำหรับสีผมแต่ละสีที่เราต้องการแยกความแตกต่าง ตัวอย่างเช่น: บลอนด์, สีน้ำตาล, ดำ, ขิง, เทา จากนั้นใส่รูปถ่ายของผู้คนที่มีสีผมนั้นลงในโฟลเดอร์สีผมแต่ละโฟลเดอร์ (โปรดใช้ jpgs และ pngs เนื่องจากยอมรับไฟล์เพียงไม่กี่ประเภทเท่านั้น) ตรวจสอบให้แน่ใจว่าโฟลเดอร์ข้อมูลทดสอบนี้อยู่ในโฟลเดอร์ข้อมูลตัวอย่างใน CoLab ตั้งเป้าไว้อย่างน้อย 10 ภาพในแต่ละชุดข้อมูล แต่ยิ่งมีภาพมากเท่าใดก็ยิ่งมั่นใจได้มากเท่านั้น!

มาวิ่งกันเถอะ!

หากทุกอย่างราบรื่นในระหว่างรันไทม์* ตอนนี้คุณควรมีไฟล์ model.tflite ในโฟลเดอร์ CoLab /tmp/ ของคุณ ดาวน์โหลดไฟล์นี้แล้วนำเข้าในโครงการ Android ของคุณ คุณจะต้องเพิ่มโฟลเดอร์ทรัพยากรใหม่ที่ชื่อว่า “ml” ในระดับเดียวกับโฟลเดอร์ทรัพยากรอื่นๆ ของคุณ เพิ่มโมเดลของคุณเข้าไปที่นั่น

จัดประเภทรูปภาพของคุณ

สิ่งสุดท้ายที่ต้องทำตอนนี้คือเรียกใช้รูปภาพของเราในแอปกับโมเดล TensorFlow ของเรา หากรูปภาพของคุณไม่ได้เป็นบิตแมป คุณจะต้องแปลงรูปภาพนั้น นี่คือวิธีที่ฉันทำ:

val img: ImageView = findViewById(R.id.image)
val fileName = "person.jpeg"
val bitmap: Bitmap? = assetsToBitmap(fileName)
bitmap?.apply {
    img.setImageBitmap(this)
}

btn.setOnClickListener {

    var tfImage = TensorImage(DataType.FLOAT32)
    tfImage.load(bitmap)

    val imageProcessor = ImageProcessor.Builder()
        .add(ResizeOp(224, 224, ResizeOp.ResizeMethod.BILINEAR))
        .build()
    tfImage = imageProcessor.process(tfImage)

    val model = Model.newInstance(this@MainActivity)
    val outputs = model.process(tfImage)
    val outputBuffer = outputs.probabilityAsCategoryList
    var outputText = ""
    for (label in outputBuffer.iterator()) {
        val text = label.label
        val confidence = label.score
        outputText += "$text : $confidence\n"
    }
    txtOutput.text = outputText
}

val outputs = model.process(tfImage)

บรรทัดสุดท้ายในตัวอย่างนั้นมีหน้าที่แสดงคะแนนความเชื่อมั่นใน TextView ของฉัน ในบริบทนี้ คะแนนความมั่นใจจะบอกคุณว่าเป็นไปได้มากน้อยเพียงใดที่คนในภาพจะมีสีผมแต่ละสี

นี่คือลักษณะของฉัน:

ที่มาภาพ

คุณสามารถเห็นได้ว่ามีความมั่นใจ 47% ว่าบุคคลนั้นมีผมสีดำ แต่มั่นใจ 35% ว่าผมหงอก นี่เป็นเพราะฉันใช้ชุดข้อมูลขนาดค่อนข้างเล็กที่มีภาพต่างกันประมาณ 100 ภาพ ถ้าฉันใช้ชุดข้อมูล 1,000 ภาพแทน อัตราความเชื่อมั่นจะสูงขึ้นมาก

ตอนนี้เรามีคะแนนความมั่นใจแล้ว เราสามารถเอาอันที่มีความมั่นใจสูงสุดมาใช้ แล้วใช้การปรับแต่งสตริงเพื่อเปลี่ยนสิ่งนั้นให้กลายเป็นความจริงที่มนุษย์สามารถอ่านได้ เช่น: "นี่คือภาพถ่ายของคนที่มีผมสีดำ" สิ่งนี้สามารถแทนที่ข้อความแสดงแทนบนรูปภาพได้ จึงบรรยายเป็นภาพ!

จากนั้นเราสามารถใช้กระบวนการเดียวกันนี้เพื่อสร้างแบบจำลองสำหรับลักษณะอื่นๆ เช่น สีตา ทรงผม ถ้าพวกเขากำลังยิ้ม เป็นต้น เพื่อทำให้ข้อความแสดงแทนของเราสื่อความหมายมากยิ่งขึ้น!

แมชชีนเลิร์นนิงมักจะดูเหมือนเป็นแนวคิดที่ยากที่จะเข้าใจ แต่ด้วยตัวเลือกต่างๆ เช่น TensorFlow Lite และ MLKit ทำให้นักพัฒนาทุกระดับสามารถลองใช้ได้

หวังว่าบทความนี้จะสร้างแรงบันดาลใจให้นักพัฒนาพิจารณาการช่วยสำหรับการเข้าถึงภายในแอปของตนมากขึ้น และยังช่วยให้พวกเขาเริ่มหาทางแก้ปัญหาที่ได้ผลอีกด้วย

แหล่งที่มา

มีความสุขในการเข้ารหัส! ⭐️

การแก้ไขปัญหา

(*) หากคุณประสบปัญหาในการเรียกใช้สคริปต์ CoLab คุณอาจต้องลบสิ่งต่อไปนี้ (แทนที่โฟลเดอร์สีผมสำหรับแต่ละรายการที่คุณมี):

test-data/blonde/.ipynb_checkpoints