คุณได้ยินเสียงภาพไหม
ขณะนี้ฉันทำงานเป็นวิศวกร Android ที่ Bumble แต่เนื้อหาในบทความนี้ไม่เกี่ยวข้องกับงานของฉันที่ Bumble
การช่วยสำหรับการเข้าถึงไม่ใช่คุณลักษณะ แต่เป็นกระแสสังคม — อันโตนิโอ ซานโตส
การช่วยสำหรับการเข้าถึงเป็นสิ่งที่มักถูกมองข้ามในการพัฒนาแอพ ต้องใช้ความคิดที่รอบคอบเกี่ยวกับการออกแบบและการนำไปใช้งาน น่าเสียดายที่นักพัฒนาซอฟต์แวร์จำนวนมากเห็นว่าไม่คุ้มค่ากับความพยายาม เนื่องจากฐานผู้ใช้ของพวกเขายังไม่มีผู้ใช้จำนวนมากที่ใช้คุณสมบัติการช่วยสำหรับการเข้าถึง
ปัญหาอยู่ที่ตรงนี้ หากคุณไม่พัฒนาแอปของคุณโดยคำนึงถึงการช่วยสำหรับการเข้าถึง ผู้คนที่ใช้คุณสมบัติการช่วยสำหรับการเข้าถึงจะไม่ดาวน์โหลดแอปของคุณ ดังนั้นฐานผู้ใช้ของคุณจึงใช้คุณลักษณะการช่วยสำหรับการเข้าถึงโดยใช้ผู้คนเป็นหลัก สิ่งนี้ทำให้นักพัฒนาคิดว่าการใช้คุณสมบัติการช่วยสำหรับการเข้าถึงนั้นไม่เป็นประโยชน์ ดังนั้นพวกเขาจึงไม่ทำ และวงจรยังคงดำเนินต่อไป
เมื่อเร็ว ๆ นี้ ฉันฟังคนพูดถึงการช่วยสำหรับการเข้าถึงบนแอปบนอุปกรณ์เคลื่อนที่ และพวกเขาชี้ให้เห็นว่าสิ่งแรกที่คุณเห็นในโปรไฟล์ของใครบางคนคือรูปถ่ายของพวกเขา จากนั้นพวกเขาชี้ให้ทุกคนเห็นว่าพวกเขามีความบกพร่องทางสายตา พวกเขามองไม่เห็น และได้รับเพียงข้อความสั้นๆ ที่แจ้งว่ามีภาพถ่ายในส่วนนี้ของหน้าจอ
ฉันได้ยินคุณพูดว่า"อืม ใช่ มันจะทำอะไรอีก" .
และคุณก็จะสันนิษฐานได้ถูกต้องว่ามันเป็นสิ่งที่โปรแกรมอ่านหน้าจอเกือบทุกคนทำเมื่อพบรูปภาพ และนั่นเป็นเพราะนักพัฒนาให้โปรแกรมอ่านหน้าจอพร้อมข้อความแสดงแทน ( ข้อความแสดงแทน ) เพื่ออ่านแทน และสิ่งที่ง่ายที่สุดในสถานการณ์นี้คือการเขียน:
altText = "image"
หากเราพิจารณาลักษณะบางอย่างที่เรามักจะสังเกตเห็นเกี่ยวกับบุคคลเมื่อเราเห็นรูปถ่ายของพวกเขา ฉันแน่ใจว่ามันน่าจะมาจาก: สีผมของพวกเขา สีตา พวกเขาสวมแว่นตาหรือไม่? เป็นต้น จะเป็นอย่างไรหากโปรแกรมอ่านหน้าจอสามารถบอกคุณข้อมูลทั้งหมดแทนคำว่า "นี่คือรูปภาพ"
ขอแนะนำ TensorFlow Lite
TensorFlow เป็นแพลตฟอร์มสำหรับแมชชีนเลิร์นนิงและมอบไลบรารี่ Android (และ iOS อีกหนึ่งตัว!) ที่เป็นประโยชน์มาก ซึ่งฉันจะใช้ในตัวอย่างนี้
หากเราพิจารณาลักษณะเฉพาะอย่างใดอย่างหนึ่งจากตัวอย่างก่อนหน้านี้: สีผม; เราสามารถ “สอน” แอปให้รู้ว่าคนในภาพมีผมสีอะไร
ในการเริ่มต้น ฉันจะถือว่าคุณรู้วิธีสร้างแอป Android (ถ้าไม่ใช่นี่คือบทช่วยสอน ) ดังนั้น ดำเนินการต่อและสร้างโครงการใหม่
นี่คือลักษณะของฉัน:
ฉันมี ImageView ของรูปภาพที่ต้องการทราบข้อมูลเพิ่มเติม และปุ่มที่ฉันจะใช้กำหนดสีผม นอกจากนี้ยังมี TextView ที่ฉันจะใช้เพื่อแสดงผลลัพธ์ใต้ปุ่ม
คุณจะต้องนำเข้า TensorFlow Lite ด้วย:
implementation 'org.tensorflow:tensorflow-lite-support:0.1.0'
implementation 'org.tensorflow:tensorflow-lite-metadata:0.1.0'
aaptOptions {
noCompress "tflite"
}
การฝึกอบรมแบบจำลอง
ก่อนที่เราจะไปไกลกว่านี้ เราต้องฝึกโมเดลก่อน โมเดลคือสิ่งที่แอปของเราจะใช้ในการตัดสินใจว่าสีผมในรูปภาพของเราจะเป็นสีอะไร
มีสองสามวิธีในการทำเช่นนี้ แต่เนื่องจากฉันจำกัดพลังการประมวลผลของเครื่อง ฉันจึงเลือกใช้CoLab (ตัวเลือกนี้กำหนดให้คุณต้องเขียน Python แต่ไม่ต้องกังวลหากคุณไม่คุ้นเคย ฉันจะวาง รหัสที่คุณต้องการที่นี่)
ไปข้างหน้าและสร้างสมุดบันทึกใหม่ใน CoLab และวางสิ่งต่อไปนี้:
!pip install tf-nightly
!pip install tflite-model-maker
จากนั้น ในสมุดบันทึกเดียวกัน ให้เพิ่มการนำเข้าหลามต่อไปนี้:
from tflite_model_maker import image_classifier
from tflite_model_maker.image_classifier import DataLoader
data = DataLoader.from_folder('test-data/')
model = image_classifier.create(data)
loss, accuracy = model.evaluate(data)
model.export(export_dir='/tmp/')
วิธีนี้จะโหลดรูปภาพจากโฟลเดอร์ชื่อ test-data จัดประเภท จากนั้นสร้างโมเดล TensorFlow ในโฟลเดอร์ /tmp/
แต่ก่อนที่เราจะรันโค้ดนี้ เราต้องใส่รูปภาพลงในโฟลเดอร์ข้อมูลทดสอบของเรา เพื่อให้ได้ผล เราจำเป็นต้องมีโฟลเดอร์ภายในข้อมูลทดสอบสำหรับสีผมแต่ละสีที่เราต้องการแยกความแตกต่าง ตัวอย่างเช่น: บลอนด์, สีน้ำตาล, ดำ, ขิง, เทา จากนั้นใส่รูปถ่ายของผู้คนที่มีสีผมนั้นลงในโฟลเดอร์สีผมแต่ละโฟลเดอร์ (โปรดใช้ jpgs และ pngs เนื่องจากยอมรับไฟล์เพียงไม่กี่ประเภทเท่านั้น) ตรวจสอบให้แน่ใจว่าโฟลเดอร์ข้อมูลทดสอบนี้อยู่ในโฟลเดอร์ข้อมูลตัวอย่างใน CoLab ตั้งเป้าไว้อย่างน้อย 10 ภาพในแต่ละชุดข้อมูล แต่ยิ่งมีภาพมากเท่าใดก็ยิ่งมั่นใจได้มากเท่านั้น!
มาวิ่งกันเถอะ!
หากทุกอย่างราบรื่นในระหว่างรันไทม์* ตอนนี้คุณควรมีไฟล์ model.tflite ในโฟลเดอร์ CoLab /tmp/ ของคุณ ดาวน์โหลดไฟล์นี้แล้วนำเข้าในโครงการ Android ของคุณ คุณจะต้องเพิ่มโฟลเดอร์ทรัพยากรใหม่ที่ชื่อว่า “ml” ในระดับเดียวกับโฟลเดอร์ทรัพยากรอื่นๆ ของคุณ เพิ่มโมเดลของคุณเข้าไปที่นั่น
จัดประเภทรูปภาพของคุณ
สิ่งสุดท้ายที่ต้องทำตอนนี้คือเรียกใช้รูปภาพของเราในแอปกับโมเดล TensorFlow ของเรา หากรูปภาพของคุณไม่ได้เป็นบิตแมป คุณจะต้องแปลงรูปภาพนั้น นี่คือวิธีที่ฉันทำ:
val img: ImageView = findViewById(R.id.image)
val fileName = "person.jpeg"
val bitmap: Bitmap? = assetsToBitmap(fileName)
bitmap?.apply {
img.setImageBitmap(this)
}
btn.setOnClickListener {
var tfImage = TensorImage(DataType.FLOAT32)
tfImage.load(bitmap)
val imageProcessor = ImageProcessor.Builder()
.add(ResizeOp(224, 224, ResizeOp.ResizeMethod.BILINEAR))
.build()
tfImage = imageProcessor.process(tfImage)
val model = Model.newInstance(this@MainActivity)
val outputs = model.process(tfImage)
val outputBuffer = outputs.probabilityAsCategoryList
var outputText = ""
for (label in outputBuffer.iterator()) {
val text = label.label
val confidence = label.score
outputText += "$text : $confidence\n"
}
txtOutput.text = outputText
}
val outputs = model.process(tfImage)
บรรทัดสุดท้ายในตัวอย่างนั้นมีหน้าที่แสดงคะแนนความเชื่อมั่นใน TextView ของฉัน ในบริบทนี้ คะแนนความมั่นใจจะบอกคุณว่าเป็นไปได้มากน้อยเพียงใดที่คนในภาพจะมีสีผมแต่ละสี
นี่คือลักษณะของฉัน:
คุณสามารถเห็นได้ว่ามีความมั่นใจ 47% ว่าบุคคลนั้นมีผมสีดำ แต่มั่นใจ 35% ว่าผมหงอก นี่เป็นเพราะฉันใช้ชุดข้อมูลขนาดค่อนข้างเล็กที่มีภาพต่างกันประมาณ 100 ภาพ ถ้าฉันใช้ชุดข้อมูล 1,000 ภาพแทน อัตราความเชื่อมั่นจะสูงขึ้นมาก
ตอนนี้เรามีคะแนนความมั่นใจแล้ว เราสามารถเอาอันที่มีความมั่นใจสูงสุดมาใช้ แล้วใช้การปรับแต่งสตริงเพื่อเปลี่ยนสิ่งนั้นให้กลายเป็นความจริงที่มนุษย์สามารถอ่านได้ เช่น: "นี่คือภาพถ่ายของคนที่มีผมสีดำ" สิ่งนี้สามารถแทนที่ข้อความแสดงแทนบนรูปภาพได้ จึงบรรยายเป็นภาพ!
จากนั้นเราสามารถใช้กระบวนการเดียวกันนี้เพื่อสร้างแบบจำลองสำหรับลักษณะอื่นๆ เช่น สีตา ทรงผม ถ้าพวกเขากำลังยิ้ม เป็นต้น เพื่อทำให้ข้อความแสดงแทนของเราสื่อความหมายมากยิ่งขึ้น!
แมชชีนเลิร์นนิงมักจะดูเหมือนเป็นแนวคิดที่ยากที่จะเข้าใจ แต่ด้วยตัวเลือกต่างๆ เช่น TensorFlow Lite และ MLKit ทำให้นักพัฒนาทุกระดับสามารถลองใช้ได้
หวังว่าบทความนี้จะสร้างแรงบันดาลใจให้นักพัฒนาพิจารณาการช่วยสำหรับการเข้าถึงภายในแอปของตนมากขึ้น และยังช่วยให้พวกเขาเริ่มหาทางแก้ปัญหาที่ได้ผลอีกด้วย
มีความสุขในการเข้ารหัส! ⭐️
การแก้ไขปัญหา
(*) หากคุณประสบปัญหาในการเรียกใช้สคริปต์ CoLab คุณอาจต้องลบสิ่งต่อไปนี้ (แทนที่โฟลเดอร์สีผมสำหรับแต่ละรายการที่คุณมี):
test-data/blonde/.ipynb_checkpoints





































![รายการที่เชื่อมโยงคืออะไร? [ส่วนที่ 1]](https://post.nghiatu.com/assets/images/m/max/724/1*Xokk6XOjWyIGCBujkJsCzQ.jpeg)