Memilih platform untuk bekerja dengan Computer Vision on the Edge itu sulit. Ada lusinan papan di pasaran. Jika Anda membaca tentang salah satunya, Anda ingin menggunakannya. Tetapi ketika Anda mencoba - itu tidak begitu baik.

Saya mencoba membandingkan banyak papan murah di pasaran . Dan tidak hanya dalam hal kecepatan. Saya mencoba membandingkan platform dengan "kegunaan" mereka. Betapa mudahnya mengekspor jaringan, seberapa bagus dukungannya. Dan betapa mudahnya bekerja.

Artikel ini adalah hasil perbandingan. Tetapi jika Anda ingin melihat lebih banyak tentang papan, ada video berbeda yang saya buat tentang setiap papan (dengan perbandingan lengkap):

1. Karang Google
2. Khadas Vim3
3. ESP32 — (Video ini direkam sebelum saya membuat panduan ini. Tapi dekat dengan itu, jadi saya akan menempelkannya di sini. Dan satu lagi —https://youtu.be/ms6uoZr-4dc)
4. Raspberry Pi
5. Myriad X (NCS 2, Depth Ai (OAK,OAK-1,OAK-D,dll))
6. Rock Pi 3A (RK3568, dll)(dan satu tambahan —https://youtu.be/NHVPxPlY2lItentang pembangunan)
7. Jetson nano
8. Hailo-8

1. Papan K210 ( sekitar )
2. Papan MAIX-II ( sekitar )

Dan sekarang saya memesan m5stack (dengan prosesor Sigmstar SSD202D) untuk mengujinya (sudah diuji, video akan segera dirilis).

Plus, saya memiliki daftar yang saya rencanakan untuk dipesan dan diuji cepat atau lambat dan ditambahkan ke artikel ini atau yang berikutnya:

1. DEBIX Model A — Seharusnya sangat mirip dengan Vim3 tetapi dengan sistem yang berbeda
2. K510 Dual RSIC-V64 — Versi baru k210 merupakan peningkatan signifikan dibandingkan platform lama. Sistem yang lebih nyaman
3. Horizon X3 Pi AI Board — Papan dengan komunitas besar yang lebih ditujukan untuk ROS. Tetapi ada beberapa mitra NPU, yang membuat platform ini menarik untuk diuji.
4. VisionFive RISC-V — Board dengan dua modul percepatan (NVDLA Engine dan NPU). Ketika saya berpikir untuk memesannya tiga bulan lalu, saya dihentikan karena beberapa utas di forum resmi menjelaskan bahwa keduanya belum dapat dijalankan ( NNE tidak berfungsi , NVDLA tidak berfungsi ). Saya rasa belum ada yang berubah.
5. Orange Pi 5 — Ini adalah Rockchip RK3588S. Tapi Orange Pi memiliki infrastruktur yang cukup maju; akan menarik untuk membandingkan dengan Rock Pi. Tapi kemungkinan besar akan serupa. Menarik juga untuk menguji Orange 4B, yang serupa.
6. Tentang RockChip, akan menarik untuk menguji sesuatu berdasarkan RK1808 . Ada banyak papan murah di luar sana (seperti ini ). Dan bahkan ada beberapa dengan kamera.
7. KNEO STEM — Modul NPU yang belum ada ulasannya.
8. Sophon BM1880 — juga, papan yang menarik tanpa banyak ulasan.
9. Xilinx Kria — adalah papan FPGA. Saya terus ingin menyatukan akting saya dan mencobanya. Terakhir kali saya mencoba mem-port matematika ke FPGA

Ayo pergi!

Ini adalah tabel terakhir dengan semua papan:

https://docs.google.com/spreadsheets/d/1BMj8WImysOSuiT-6O3g15gqHnYF-pUGUhi8VmhhAat4/edit?usp=sharing

Tapi izinkan saya menjelaskan semua kriteria terlebih dahulu.

Betapa mudahnya bekerja

Seberapa mudah untuk mem-flash? Butuh waktu setengah hari untuk mem-flash Jetson TK1. Untuk RPi — setengah jam. Firmware adalah titik di mana komunikasi Anda dengan papan dimulai setelah unboxing.

Mudah dikerjakan. Saat saya bekerja dengan DaVinci — proses debug memakan waktu lama. Saat ini semua proses biasanya jauh lebih mudah. Mari kita bicara tentang mereka.

Linux konvensional . Saya suka ketika Anda dapat bekerja dengan Ubuntu biasa. Dan itu membuat saya sedih ketika tidak ada Linux biasa di dalamnya. Mari kita periksa ini.

Dukungan masyarakat. Komunitas besar — ​​sedikit masalah dan banyak solusi. Mari kita periksa.

Board terbaik menurut saya adalah RPi dan NCS. Tapi mereka tidak sepenuhnya papan Computer Vision. Coral dan Jetsons bagus tapi tidak bagus.

Dukungan model

Biasanya, NPU tidak ramah pengguna dalam hal konversi model. Mari kita bicara tentang model.

Kebun Binatang Model Resmi . Model apa yang didukung?

Kebun Binatang Model Tidak Resmi . Komunitas apa yang diberikan kepada dewan ini?

Seberapa mudah mengonversi model acak? Mengapa saya membutuhkan dua poin pertama jika saya dapat mengekspor sesuatu?!

Mudah untuk men-debug masalah dengan konversi. Jika ekspor tidak sesuai rencana.

Seperti yang Anda lihat, tiga papan bagus dan satu papan hampir bagus.

Kesiapan produksi / Kesiapan proyek hobi / Konstruksi Papan

Beberapa informasi tambahan dapat memungkinkan Anda untuk memutuskan apakah Anda harus memilih dewan.

Kecepatan prosesor ? Banyak sistem visi komputer membutuhkan prosesor yang baik. Mari kita periksa. Untuk mengujinya, saya akan menggunakan alat stress-ng (Sudo apt-get install stress-ng) di PC Linux untuk membuat perbandingan.

Bagian mekanis , konstruksi, stabilitas suhu.

Mudah dibeli. Haruskah saya menekan tombol "Hubungi untuk meminta harga"?… Atau mengantri selama beberapa bulan?

Pin untuk koneksi eksternal . Akankah saya dapat memanipulasi kenyataan?

Seperti yang Anda lihat, semua papan terlihat hampir sama kecuali papan tanpa Linux.

Tes kecepatan

Sulit untuk membuat pemahaman rumit tentang "seberapa cepat papan" dengan 2–3 poin dalam perbandingan kinerja. Lebih baik melihat bagian "Tes kecepatan" dari video dan periksa informasinya di sini . Papan yang berbeda memiliki kerangka kerja inferensi yang berbeda, parameter yang berbeda, dan kuantisasi yang berbeda.

Saya menggunakan ukuran batch = 1 di mana-mana. Dan ini bukan strategi terbaik. Misalnya untuk Jetson, itu akan meningkatkan performa.

Tapi menurut saya, tes ini bisa menjawab beberapa pertanyaan:

1. Seberapa cepat papan untuk jaringan saraf kecil?
2. Seberapa cepat papan untuk jaringan saraf besar?
3. Apa kerangka optimal untuk menjalankan jaringan saraf?

Harga

Untuk proyek besar, harga sangat penting. Tetapi Anda hampir tidak dapat memperkirakan biaya sebenarnya. Sebagai contoh:

1. Harga Jetson sekitar $99, tetapi dengan kekurangan chip saat ini, Anda hampir tidak dapat membelinya dengan $250
2. Konsinyasi papan yang besar harganya lebih murah daripada yang kecil.
3. Anda dapat membuat prototipe papan Anda untuk beberapa chip, yang biayanya lebih murah.
4. Pinggiran tambahan akan meningkatkan biaya. Dan itu akan berbeda untuk papan yang berbeda.

Konsumsi daya

Juga, saya mencoba mengukur konsumsi daya.
Beberapa catatan penting:

1. Saya tidak dapat mengukur konsumsi daya untuk setiap papan dengan pertimbangan (beberapa papan saya berikan kepada teman, beberapa papan tidak memiliki USB, dll)
2. Saya mencoba mengukur hanya dua mode: "idle" dan "running NN". Tetapi: beberapa papan memiliki kamera internal, beberapa papan menggunakan wifi, beberapa papan memiliki pinggiran tambahan, dll. Saya tidak menghubungkan bagian tambahan apa pun, tetapi
3. Ini konsumsi daya "berarti". Saya tidak mencoba mengukur konsumsi maksimum

Ringkasan

Jadi. Saya harap ini akan membantu Anda memilih papan Anda. Tapi itu artikel yang cukup kecil. Dan izinkan saya merekomendasikan beberapa lagi.

1. Artikel bagus tentang apa itu NPU, dan TPU, perbedaannya, dan bagaimana matematika dioptimalkan:https://blog.inten.to/hardware-for-deep-learning-part-4-asic-96a542fe6a81
2. Artikel bagus tentang membandingkan platform. Ada beberapa platform yang belum saya ulas + contoh untuk jaringan yang tidak saya miliki —https://qengineering.eu/deep-learning-with-raspberry-pi-and-alternatives.html
3. Bukan perbandingan yang sangat mendetail, tetapi beberapa platform menarik yang belum saya ulas —https://jfrog.com/connect/post/comparison-of-the-top-5-single-board-computers/
4. Artikel yang bagus dan terperinci, tetapi tidak banyak papan —https://arxiv.org/pdf/2108.09457.pdf
5. tes kinerja ncnn untuk banyak papan —https://github.com/nihui/ncnn-small-board