Comment Airbnb utilise les attributs visuels pour améliorer l'expérience des voyageurs et des hôtes

Par Yuanpei Cao , Bill Ulammandakh , Hao Wang et Tony Hwang

Introduction

Sur Airbnb, nos hôtes partagent des annonces uniques dans le monde entier. Il y a des centaines de millions de photos d'annonces d'accompagnement sur Airbnb. Les photos de l'annonce contiennent des informations cruciales sur le style et l'esthétique du design qui sont difficiles à transmettre avec des mots ou une liste fixe d'équipements. En conséquence, plusieurs équipes d'Airbnb tirent désormais parti de la vision par ordinateur pour extraire et incorporer des éléments intangibles de nos riches données visuelles afin d'aider les clients à trouver facilement des annonces qui correspondent à leurs préférences.

Dans les articles de blog précédents intitulés WIDeText : A Multimodal Deep Learning Framework , Categorizing Listing Photos at Airbnb and Amenity Detection and Beyond — New Frontiers of Computer Vision at Airbnb , nous avons exploré comment nous utilisons la vision par ordinateur pour la catégorisation des chambres et la détection des commodités afin de cartographier les photos des annonces sur une taxonomie de concepts discrets. Cet article va au-delà des catégories discrètes et explique comment Airbnb exploite l'esthétique et les intégrations d'images pour optimiser les différentes surfaces de produits, notamment le contenu des annonces, la présentation des annonces et les recommandations d'annonces.

Esthétique des images

Des photos attrayantes sont aussi essentielles que le prix, les avis et la description lors du parcours de recherche Airbnb d'un client. Pour quantifier «l'attractivité» des photos, nous avons développé un pipeline d'évaluation de l'esthétique des images basé sur l'apprentissage en profondeur. Le modèle sous-jacent est un réseau de neurones à convolution profonde ( CNN ) entraîné sur des distributions d'évaluation esthétique d'images étiquetées par l'homme. Chaque photo a été notée sur une échelle de 1 à 5 par des centaines de photographes en fonction de leurs mesures esthétiques personnelles (plus la note est élevée, meilleure est l'esthétique). Contrairement aux tâches de classification traditionnelles qui classent la photo dans des catégories de qualité faible, moyenne et élevée, le modèle a été construit sur la distance de l'engin de terrassement ( EMD ) comme fonction de perte pour prédire les distributions de notation des photographes.

La note moyenne prévue est fortement corrélée à la résolution de l'image et à la probabilité de réservation de l'annonce, ainsi qu'à la distribution haut de gamme des photos de l'annonce Airbnb. Les seuils de notation sont définis en fonction des cas d'utilisation, tels que la recommandation de photos publicitaires sur les réseaux sociaux et la suggestion de commande de photos dans le processus d'intégration de la liste.

Amélioration de la qualité des annonces basées sur l'esthétique des images

Airbnb utilise la publicité sur les réseaux sociaux pour attirer de nouveaux clients et inspirer notre communauté. La plate-forme de médias sociaux choisit les annonces à diffuser en fonction de millions de photos d'annonces fournies par Airbnb.

Étant donné qu'une photo Airbnb visuellement attrayante peut efficacement attirer les utilisateurs sur la plate-forme et augmenter considérablement le taux de clics (CTR) de l'annonce, nous avons utilisé le score esthétique de l'image et la catégorisation des chambres pour sélectionner les photos Airbnb les plus attrayantes du salon, de la chambre, de la cuisine. , et vue extérieure. Le critère de « bonne qualité » des photos d'annonce a été défini sur la base du 50e centile supérieur du score esthétique et réglé sur la base d'une évaluation esthétique manuelle interne de 1 000 photos de couverture d'annonce sélectionnées au hasard. Nous avons effectué des tests A/B pour ce cas d'utilisation et avons constaté que les publicités candidates avec un score esthétique plus élevé généraient un CTR et un taux de réservation nettement plus élevés.

Classement automatisé des photos en fonction de la conception de la maison et du type de pièce

Lorsqu'ils publient une nouvelle annonce sur Airbnb, les hôtes téléchargent de nombreuses photos. Organiser de manière optimale ces photos pour mettre en valeur une maison peut être chronophage et difficile. Un hôte peut également être incertain quant à la disposition idéale de ses images, car le travail nécessite de faire des compromis entre l'attractivité des photos, la diversité des photos et la pertinence du contenu pour les invités. Plus précisément, les cinq premières photos sont les plus importantes pour le succès de l'annonce car elles sont les plus fréquemment vues et cruciales pour former l'impression initiale du client. En conséquence, nous avons développé un algorithme de classement automatisé des photos qui sélectionne et classe les cinq premières photos d'une maison en tirant parti de deux signaux visuels : l'évaluation de la conception de la maison et la catégorisation des pièces.

L'évaluation de la conception de la maison estime la qualité de la conception d'une maison du point de vue de la conception intérieure et de l'architecture. Le modèle d'évaluation de la conception de la maison basé sur CNN est formé sur les données de qualification Airbnb Plus et Luxe qui évaluent l'attrait esthétique de la conception de la maison de chaque photo. Airbnb Plus et LuxeLes listes ont passé des critères d'évaluation de conception de maison stricts et les données de leur processus de qualification sont donc bien adaptées pour être utilisées comme étiquettes de formation pour un modèle d'évaluation de conception de maison. Les photos sont ensuite classées en différents types de pièces, telles que le salon, la chambre, la salle de bain, etc., grâce au modèle de catégorisation des pièces. Enfin, un algorithme fait des compromis entre l'attractivité de la conception de la maison photo, la pertinence de la photo et la diversité des photos afin de maximiser la probabilité de réservation d'une maison. Vous trouverez ci-dessous un exemple de la manière dont une nouvelle commande de photos est suggérée. La fonction de classement automatique des photos a été lancée dans le produit d'intégration des annonces Host en 2021, ce qui a entraîné une augmentation significative de la création de nouvelles annonces et du succès des réservations.

Commande d'origine

Commande suggérée automatiquement

Similitude d'image

Au-delà de l'esthétique, les photos capturent également l'apparence générale et le contenu. Pour représenter efficacement ces informations, nous encodons et compressons les photos dans des images incorporées à l'aide de modèles de vision par ordinateur. Les représentations vectorielles continues d'images sont des représentations vectorielles compactes d'images qui représentent des caractéristiques visuelles. Ces incorporations peuvent être comparées les unes aux autres avec une métrique de distance qui représente la similarité dans cet espace de caractéristiques.

Les caractéristiques apprises par l'encodeur sont directement influencées par la distribution des données d'image d'apprentissage et les objectifs d'apprentissage. Nos données étiquetées sur le type de chambre et la classification des équipements nous permettent de former des modèles sur cette distribution de données afin de produire des intégrations sémantiquement significatives pour répertorier les cas d'utilisation de similarité de photos. Cependant, à mesure que la quantité et la diversité des images sur Airbnb augmentent, il devient de plus en plus intenable de s'appuyer uniquement sur des données étiquetées manuellement et des techniques de formation supervisées. Par conséquent, nous explorons actuellement la formation contrastive auto-supervisée pour améliorer nos modèles d'incorporation d'images. Cette forme de formation ne nécessite pas d'étiquettes d'image ; au lieu de cela, il démarre l'apprentissage contrastif avec des paires positives et négatives générées synthétiquement.

Recherche intégrée évolutive

Il est souvent impossible de calculer une similarité d'intégration par paires exhaustive, même au sein de sous-ensembles ciblés de millions d'éléments. Pour prendre en charge les cas d'utilisation de la recherche en temps réel, tels que la détection de photos (presque) en double et la recherche de similarité visuelle, nous effectuons à la place une recherche approximative du voisin le plus proche ( ANN ). Cette fonctionnalité est en grande partie rendue possible par un algorithme efficace de prétraitement et de construction d'index intégré appelé Hierarchical Navigable Small World ( HNSW). HNSW construit une structure de graphe de proximité hiérarchique qui contraint considérablement l'espace de recherche au moment de la requête. Nous mettons cela à l'échelle horizontalement avec AWS OpenSearch, où chaque nœud contient ses propres graphiques d'intégration HNSW et indices basés sur Lucene qui sont hydratés périodiquement et peuvent être interrogés en parallèle. Pour ajouter une recherche ANN intégrée en temps réel, nous avons implémenté les modèles de conception d'hydratation d'index et de recherche d'index suivants activés par les plates-formes internes Airbnb existantes.

Pour hydrater un index d'intégration sur une base périodique, toutes les intégrations pertinentes calculées par Bighead , la plate-forme d'apprentissage automatique de bout en bout d'Airbnb, sont agrégées et conservées dans une table Hive. Les modèles d'encodeur produisant les représentations vectorielles continues sont déployés à la fois pour l'inférence en ligne et le traitement par lots hors ligne. Ensuite, la mise à jour d'intégration incrémentielle est synchronisée avec l'index d'intégration sur AWS OpenSearch via Airflow, notre service d'orchestration de pipeline de données.

Pour effectuer une recherche d'image, un service client vérifie d'abord si l'incorporation de l'image existe dans le cache d'index OpenSearch pour éviter de recalculer les incorporations inutilement. Si l'intégration est déjà présente, le cluster OpenSearch peut renvoyer des résultats approximatifs du voisin le plus proche au client sans autre traitement. S'il y a un manque de cache, Bighead est appelé pour calculer l'incorporation d'image, suivi d'une requête pour interroger le cluster OpenSearch pour les voisins les plus proches approximatifs.

En suivant ce cadre de recherche intégré, nous adaptons la recherche visuelle en temps réel dans les flux de production actuels et les versions à venir.

Élargir les catégories Airbnb

Les catégories Airbnb aident nos clients à découvrir des escapades uniques. Quelques exemples sont "Vues incroyables", "Maisons historiques" et "Espaces créatifs". Ces catégories ne partagent pas toujours des commodités communes ou des attributs discrets, car elles représentent souvent un concept inspirant. Nous explorons l'expansion automatique des catégories en identifiant des listes similaires en fonction de leurs photos, qui capturent l'esthétique du design.

Recommandations d'annonces similaires dans l'assistance à la modification de réservation

Dans la version été 2022, Airbnb a introduit l'assistance à la nouvelle réservation pour offrir aux voyageurs une expérience fluide de la part des ambassadeurs du soutien à la communauté lorsqu'un hôte annule à court préavis. Dans le but de recommander des listes comparables tout au long du processus de changement de réservation, un modèle d'intégration de réservation et de liste à deux tours classe les listes de candidats, mises à jour quotidiennement. Comme travaux futurs, nous pouvons envisager d'augmenter la représentation de la liste avec des incorporations d'images et d'activer la recherche en temps réel.

Conclusion

Les photos contiennent des signaux esthétiques et liés au style qui sont difficiles à exprimer avec des mots ou à mapper sur des attributs discrets. Airbnb utilise de plus en plus ces attributs visuels pour aider nos hôtes à mettre en valeur le caractère unique de leurs logements et pour aider nos voyageurs à découvrir des logements qui correspondent à leurs préférences.

Intéressé à travailler chez Airbnb ? Découvrez nos rôles ouverts .

Remerciements

Merci à Teng Wang, Regina Wu, Nan Li, Do-kyum Kim, Tiantian Zhang, Xiaohan Zeng, Mia Zhao, Wayne Zhang, Elaine Liu, Floria Wan, David Staub, Tong Jiang, Cheng Wan, Guillaume Guy, Wei Luo, Hanchen Su, Fan Wu, Pei Xiong, Aaron Yin, Jie Tang, Lifan Yang, Lu Zhang, Mihajlo Grbovic, Alejandro Virrueta, Brennan Polley, Jing Xia, Fanchen Kong, William Zhao, Caroline Leung, Meng Yu, Shijing Yao, Reid Andersen, Xianjun Zhang, Yuqi Zheng, Dapeng Li et Juchuan Ma pour les collaborations de produits. Merci également à Jenny Chen, Surashree Kulkarni et Lauren Mackevich pour l'édition.

Merci à Ari Balogh, Tina Su, Andy Yasutake, Joy Zhang, Kelvin Xiong, Raj Rajagopal et le soutien de direction de Zhong Ren dans la création de produits de vision par ordinateur chez Airbnb.