Expliquer les systèmes de recommandation aux Product Owners

Dans ma présentation au Data Technology Seminar organisé par l' European Brodcasting Union , je me suis concentré sur la démonstration que les systèmes de recommandation peuvent réellement aider les médias publics à mieux remplir leur rôle dans la société et à réduire les biais de distribution de contenu.

Tout d'abord, j'ai présenté Recombee, une entreprise que j'ai co-fondée avec mes collègues chercheurs et amis. Nous avons réussi à démarrer à 40 personnes en quelques années. Je dois dire que la recherche est bien plus intéressante et pertinente, quand on peut travailler avec de vrais utilisateurs. Surtout dans les systèmes de recommandation, où l'évaluation sur des données hors ligne est difficile .

Dès le départ, nous avons conçu notre produit, le système de recommandation en tant que service, pour qu'il soit en temps réel, indépendant du domaine et évolutif pour tout trafic. C'est pourquoi nous pouvons facilement servir des plateformes en ligne très diverses telles que les sites d'emploi, le commerce électronique, l'immobilier, les marchés. Dans le seul domaine des médias, vous pouvez également trouver un ensemble assez diversifié de plates-formes en ligne.

Dans les plateformes de streaming musical telles que Audiomack , vous pouvez recommander non seulement des chansons, mais également des artistes ou des genres .

Dans les réseaux sociaux tels que 9gag , vous devez recommander le contenu multimédia téléchargé par les utilisateurs, les nouveaux éléments arrivent rapidement, vous devez donc être le plus rapide possible.

En ce qui concerne les plateformes de streaming vidéo telles que Prima ou Showmax , vous devez gérer différents types de contenu, recommander des séries, de la vidéo à la demande ou du contenu IPTV linéaire avec diverses restrictions.

Pour recommander des informations, il existe un autre ensemble de défis, que vous travailliez pour un média privé ou public. Les pages d'accueil des actualités sont probablement les scénarios les plus regardés et vous devez donner aux éditeurs les moyens d'interagir avec le moteur de recommandation et leur donner des outils pour comprendre l'impact de leurs actions sur l'audience.

Servir tous ces scénarios divers est possible grâce à une couche d'abstraction qui permet aux règles métier d'ajuster le comportement du moteur de recommandation pour chaque demande de recommandation. Ces règles sont généralement construites par les propriétaires de produits dans l' interface utilisateur d'administration de notre service. Les propriétaires de produits dans les médias ont généralement une opinion assez arrêtée sur la façon dont les règles commerciales devraient ressembler, mais certaines de ces règles peuvent en fait nuire à l'expérience utilisateur. C'est pourquoi nous travaillons avec les propriétaires de produits pour leur donner plus d'informations sur ce que fait réellement le système de recommandation et sur la manière dont le public est impacté par les différentes logiques et restrictions encodées dans les règles métier.

Comment expliquer l'impact de RS aux Product Owners ? Et comment les Product Owners peuvent-ils mesurer le succès de la livraison de contenu aux utilisateurs ?

Des tableaux de bord de données en temps réel avec des informations qui seront bientôt disponibles dans notre interface d'administration vous permettent de répondre aux questions suivantes :

• Contenu recommandé aux utilisateurs au cours de la dernière heure ?
• Quel contenu est recommandé dans quel scénario ?
• Le contenu qui fonctionne le mieux dans l'ensemble ?
• Un contenu performant pour un groupe d'utilisateurs particulier ?

Outre les informations de Recombee permettant une surveillance en temps réel de vos scénarios, nous voulions expliquer le comportement des systèmes de recommandation dans la granularité des utilisateurs et des éléments individuels.

Pour cette tâche, nous avons implémenté et open source un outil d'analyse visuelle Repsys . Cet outil permet aux propriétaires de produits de répondre à des questions supplémentaires concernant leur contenu, leur audience et leur système de recommandation :

• Quel contenu est similaire en fonction des modèles d'interaction des utilisateurs ?
• Comment les algorithmes individuels aident les utilisateurs à explorer le catalogue de contenu ?
• Dans quelle mesure les algorithmes prédisent-ils le bon public pour un cluster de contenu donné ?
• Quels algorithmes fonctionnent le mieux pour un groupe d'utilisateurs donné ? Et lesquels sont biaisés ?

Il vous permet d'explorer le catalogue d'articles en fonction de la similarité d'interaction des articles. Lorsque vous explorez des ensembles de données académiques tels que Good Reads , les groupes d'éléments sont bien séparés et le contenu des groupes est uniforme (notez que les attributs d'élément ne sont pas utilisés lors de la projection d'éléments).

Mais lorsque vous projetez des articles d'actualités à partir d'un véritable portail d'actualités, les clusters ne sont pas si agréables. C'est principalement parce que de nombreux portails d'actualités ont encore une page d'accueil statique maintenue par les éditeurs et les utilisateurs interagissent avec le contenu qui est affiché ensemble sur une page d'accueil. De cette façon, il existe une similitude d'interaction entre les éléments qui ne seraient pas similaires dans un environnement alimenté exclusivement par un bon système de recommandation.

Dans les médias, les algorithmes basés sur la popularité fonctionnent assez bien, en particulier les bandits contextuels qui ne sont pas basés sur la popularité globale, mais sur la popularité des éléments pour un scénario particulier ou un groupe d'utilisateurs.

Cependant, les méthodes modernes de filtrage collaboratif promettent de meilleures capacités de personnalisation.

Lorsque vous analysez les performances de l'algorithme basé sur la popularité POP sur un public réel, vous pouvez voir qu'il a de moins bonnes performances sur les utilisateurs de niche.

Ce segment d'utilisateurs de niche souhaite en savoir plus sur l'implication de la Biélorussie dans l'invasion russe de l'Ukraine.

Vous pouvez en fait sélectionner un utilisateur particulier dans ce segment et observer les recommandations produites par l'algorithme POP et l'algorithme EASE (filtrage collaboratif). Apparemment, EASE est beaucoup plus pertinent pour l'historique d'interaction de l'utilisateur.

Ce qui est encore plus intéressant, lorsque vous comparez ces deux algorithmes dans Repsys, non seulement EASE est beaucoup plus précis pour les utilisateurs de niche, mais il recommande également un contenu beaucoup plus diversifié et de niche au cluster d'utilisateurs bleu foncé sur la droite (ceux-ci sont démarrage à froid les utilisateurs et les utilisateurs qui ont interagi avec du contenu populaire uniquement).

De conclure:

• Les éditeurs, qui décident du contenu à mettre sur la page d'accueil en fonction de ses performances globales (au cours de la dernière heure environ) sont similaires aux algorithmes de recommandation basés sur les bandits et discriminent les utilisateurs qui préfèrent le contenu de niche.
• De bons algorithmes de recommandation aident les utilisateurs à explorer des niches et de nouveaux contenus.
• Les systèmes de recommandation peuvent être bien contrôlés et leur comportement expliqué.
• L'outil Repsys pour l'évaluation des algorithmes de recommandation permettra des audits RS à l'avenir. Veuillez contribuer et nous faire part de vos commentaires sur la façon dont cela fonctionne dans votre environnement.
• Notre objectif est de créer un moteur de recommandation fiable et explicable, faites-nous savoir si vous souhaitez en faire la démonstration sur votre site Web.