BigBasket SuperMart — Technologie IA

Feb 03 2023
Aujourd'hui, la plupart des supermarchés et des magasins physiques en Inde proposent une facturation manuelle au comptoir de facturation. Cela pose deux problèmes : pour les clients, nous avons permis une expérience transparente d'auto-facturation et d'auto-paiement.

Aujourd'hui, la plupart des supermarchés et des magasins physiques en Inde proposent une facturation manuelle au comptoir de facturation. Cela a deux problèmes :

  • Cela nécessite de la main-d'œuvre supplémentaire, des autocollants et une formation répétée pour l'équipe opérationnelle en magasin à mesure qu'ils évoluent.
  • Dans la plupart des magasins, le compteur de facturation est différent des compteurs de pesée, ce qui ajoute à la friction dans le parcours d'achat d'un client. Combien de fois avons-nous perdu l'autocollant au comptoir de facturation et couru vers les comptoirs de pesée ?

Pour les clients, nous avons permis une expérience transparente d'auto-facturation et d'auto-paiement. Nous avons utilisé un modèle d'apprentissage en profondeur de vision par ordinateur dans la détection des articles non emballés/emballés/en vrac dans les catégories fruits, légumes et produits de grande consommation au moment de la facturation.

Cela nous aide à avoir une expérience transparente d'ajout de l'article et des poids au panier.

Supermarché BigBasket

Le schéma suivant montre comment le client utilisera le compteur d'auto-facturation

Caisse libre-service

La vidéo suivante montre comment la facturation s'effectue au comptoir de caisse libre-service.

Notre moteur d'inférence est une solution basée sur le cloud qui est utilisée pour détecter l'image en direct afin d'identifier le SKU. Il est invoqué par les terminaux du magasin qui envoient le format compressé d'une image en direct et renvoient l'ID SKU en réponse. Cet identifiant SKU est recherché par les services internes pour charger les détails du SKU tels que le nom, la description, le prix, etc.

Connaissances

  • Les modèles d'IA actuels prennent en charge plus de 5000 SKU parmi les articles FNV et FMCG.
  • Plus de 20 magasins Big Basket dans 3 villes utilisent la technologie de vérification basée sur l'IA.
  • Environ 30 000 détections se produisent par jour, soit environ 2 000 détections moyennes par heure et pendant les heures de pointe, il s'agit d'environ 3,3 000 détections.
  • Toutes les détections se produisent dans le cloud avec un SLA < 300 ms.
  • Environ 7 millions d'images sont utilisées pour former les modèles.

Nous avons utilisé trois modèles d'apprentissage en profondeur dans notre pipeline. Le résumé de chaque modèle est expliqué ci-dessous

Modèle FMCG

  • Nous avons utilisé la classification basée sur l'image pour la détection des produits FMCG.
  • Notre réseau modèle se compose d'une architecture RESNET 152 [2] suivie de couches entièrement connectées basées sur des classes totales.
  • Sur 66 millions de paramètres, 23 millions de paramètres sont définis comme paramètres d'apprentissage et les autres sont gelés. Cela nous a permis d'utiliser moins d'images au moment de la formation.
  • Le framework Pytorch a été utilisé. Les paramètres initiaux sont obtenus en utilisant l'apprentissage par transfert [3] à partir du modèle imagenet. Cela nous a permis d'accélérer la convergence et de réduire le temps total de formation.
  • Nous avons utilisé la reconnaissance d'objets pour la détection de produits FnV et FnV-packed. Pour de nombreux SKU, nous aurions besoin d'un nombre de pièces.
  • Notre modèle de réseau se compose de l'architecture Yolov4 avec un framework darknet. Cela nous a aidés à accélérer le temps d'inférence.

Compte tenu de la grande variété de produits et de combinaisons, nous avons dû résoudre bon nombre de défis pour améliorer nos mécanismes de détection. Pour relever ces défis, nous avons développé un algorithme propriétaire utilisé pour lier des éléments similaires dans une relation « parent-enfant ». L'algorithme, en plus de classer chaque image, utilise les informations de poids et le texte sur l'étiquette du produit pour résoudre le produit correct. Veuillez trouver la liste des défis ci-dessous et dans les sections suivantes, nous les avons expliqués avec des exemples et comment nous les avons traités avec notre conception.

  • Les produits ont presque tous les côtés très similaires à l'exception de quelques textes sur le produit
  • Produits ayant la plupart des surfaces vue similaire à l'exception de la surface avant
  • Les produits se ressemblent visuellement et ont une variante pondérée
  • Les produits semblent presque identiques sur toutes les surfaces

Peu de produits de la même marque ayant des saveurs différentes auront un emballage presque similaire et seul un petit texte sur l'image fera la différence. Quelques exemples sont listés ci-dessous

Exemples

Pendant la formation

Pour gérer ce scénario, nous créons une nouvelle classe parent combinant des images SKU similaires.

Dans l'exemple ci-dessus, tous les identifiants de SKU enfant sont mappés à l'identifiant de classe parent Nivea Men et toutes les images d'identifiant de SKU enfant sont utilisées pour former la classe Nivea Men.

Pendant l'inférence

Au moment de l'inférence, nous utilisons un algorithme de détection de texte pour mapper le SKU enfant correct. Nous avons utilisé l'API Amazon Rekognition [1] pour extraire le texte de l'image.

Produits ayant la plupart des surfaces vue similaire à l'exception de la surface avant

Un défi majeur dans ce scénario est que nous ne pouvons pas toujours nous attendre à ce que l'utilisateur place un produit particulier sur la surface avant. Dans ces scénarios, lorsque l'utilisateur place le produit à l'arrière, nous devons envoyer un message de rétroaction au client "Excuses, veuillez tourner l'article vers l'avant !". Quelques exemples sont listés ci-dessous

Exemples

Pendant la formation

Pour gérer ce scénario, nous créons une nouvelle classe et entraînons le modèle avec les problèmes rencontrés avec les images de surface.

Pour les SKU ci-dessus, nous avons créé un ID de classe de problème Lait laitier — verso, toutes les images verso sont utilisées pour former le modèle

Pendant l'inférence

Lorsque notre modèle détecte cette nouvelle classe de problème, nous envoyons un message de rétroaction approprié au client

Les produits se ressemblent visuellement et ont une variante pondérée

Peu de produits de la même marque et de la même variété auront des variantes de quantité différentes, mais ils se ressemblent visuellement avec une légère différence dans la taille de l'emballage. Même le texte est similaire ici. Considérant qu'il y aura un petit changement dans la hauteur de la caméra sur les compteurs, l'identification de l'identifiant SKU réel avec la variation de taille sera très difficile. Quelques exemples sont listés ci-dessous

Exemples

Pendant la formation

Pour gérer ce scénario, nous créons une nouvelle classe appelée la classe parent de ces SKU enfants. Ici, nous entraînons toutes les images d'identifiants SKU enfants comme une classe appelée classe parent.

Pendant l'inférence

Lorsque le modèle détecte la classe parent, nous utilisons les informations de pondération pour mapper l'ID SKU enfant correct.

Les produits semblent presque identiques sur toutes les surfaces

Peu de produits semblent presque identiques sur toutes les surfaces et ils peuvent avoir des poids et des formes similaires, etc. Dans ces scénarios, la détection basée sur la vision n'est pas possible, nous pourrions avoir besoin d'appareils externes pour facturer ces articles SKU. Quelques exemples sont listés ci-dessous

Exemples

Dans ces scénarios, nous ne pouvons pas identifier l'ID SKU réel à l'aide de la vision par ordinateur, nous aurons besoin d'un appareil externe pour facturer cet article.

Pendant la formation

Nous créons une nouvelle classe avec tous les SKU confus et formons le modèle

Pendant l'inférence

Lorsque notre modèle détecte cette nouvelle classe parente, nous envoyons le message de rétroaction approprié.

Glossaire

FMCG - Biens de consommation à rotation rapide

FnV — Fruits et Légumes

UGS — Unité de gestion des stocks

SLA — Accords de niveau de service

Les références

[1]https://docs.aws.amazon.com/rekognition/latest/dg/what-is.html

[2]https://pytorch.org/vision/main/models/generated/torchvision.models.resnet152.html

[3]https://en.wikipedia.org/wiki/Transfer_learning