Résumé

Les plates-formes qui permettent aux utilisateurs d'envoyer directement des messages à d'autres utilisateurs peuvent vouloir modérer ces interactions pour des raisons de sécurité. Cependant, la plupart des types d'analyse de messages privés sont illégaux en Europe en vertu de la directive e-Privacy et, dans certains cas, sont directement interdits par le cryptage. Cela peut présenter un risque pour vos utilisateurs et votre plate-forme, d'autant plus que les canaux de messagerie privés sont souvent utilisés pour des types de préjudices plus graves, à savoir le partage de médias illégaux, l'intimidation, l'extorsion, le toilettage et la radicalisation.

Il existe différentes manières pour les plateformes de continuer à protéger leurs communautés et leur marque, ce qui dépend de leur stratégie globale de confiance et de sécurité qui repose sur les facteurs suivants :

1. Plate-forme actuelle d'évaluation des risques et de l'impact de la confiance et de la sécurité
2. Contraintes stratégiques, réglementaires et financières
3. Cadre de compromis entre sûreté, sécurité et confidentialité

1. Prévention en ciblant les acteurs malveillants avant qu'ils n'aient la possibilité de créer des victimes
2. Rapports améliorés, permettant aux utilisateurs de signaler eux-mêmes les contenus et comportements préjudiciables
3. Détection multicompte des utilisateurs qui ont plus d'un compte et/ou qui reviennent sur une plateforme avec un autre compte après avoir été bannis (récidive)

Checkstep, un logiciel de confiance et de sécurité conçu pour gérer les opérations de bout en bout et les réglementations en matière de confidentialité et de sécurité en ligne, propose des outils et des services pour aider à une évaluation détaillée des risques et à une stratégie de mise en œuvre - adaptée aux besoins de chaque plate-forme et avec des fonctionnalités de conformité intégrées .

Analyser les messages privés des utilisateurs à des fins de confiance et de sécurité ? C'est là que la confidentialité entre en conflit avec la confiance et la sécurité, créant une confusion pour les plateformes sur la façon de procéder. Si vous êtes en Europe, ce type de numérisation est probablement illégal en vertu de la directive e-Privacy (ePD, Directive 2002/58/EC ), qui interdit tout type de surveillance ou d'interception de messages ou de métadonnées associées (article 5 de la ePD). Souvent, le risque est contenu dans la communication privée, alors que pouvez-vous faire à ce sujet ?

Tout d'abord, discutons de la façon dont les mauvais acteurs opèrent souvent. La plupart des mauvais acteurs fonctionnent de la même manière ; ils utilisent un service de plate-forme publique pour identifier les victimes potentielles ; soit en ciblant des victimes qui correspondent à un profil précis, soit en ciblant un maximum d'utilisateurs. Une fois qu'ils ont leur victime, ils doivent la déplacer vers un système de messagerie 1–1, fourni par la plate-forme ou une autre plate-forme où ils peuvent continuer leur comportement potentiellement dangereux. Il existe des possibilités limitées de perturber ce flux, car la messagerie peut être cryptée et/ou il peut être illégal de scanner, en plus des mauvais acteurs devenant de plus en plus aptes à échapper à la détection. Vous pouvez trouver des forums dans les coins sombres d'Internet où toutes sortes de mauvais acteurs discutent de la façon dont ils échappent à la détection sur la plupart des plateformes. La détection de la méchanceté et du risque est une question très conflictuelle. La nature contradictoire signifie que la détection change constamment. Dès que quelque chose est mis en place, les mauvais acteurs changent de Modus Operandi pour l'éviter : c'est un coûteux jeu de "taupe".

Les coûts varient en termes de tangibilité.. Vous pouvez avoir besoin d'équipes de ML/AI et d'ingénierie dédiées au problème spécifique, ainsi que de chercheurs et de professionnels de la gouvernance pour vous aider à le gérer (plus tangible). votre marque (moins tangible). Ces expériences dommageables couvrent tout le spectre. En fonction de l'offre de votre plate-forme, vous pouvez constater des préjudices allant de l'intimidation aux menaces de mort . La façon dont les plateformes résolvent le problème dépend de plusieurs facteurs :

Des risques

Évaluer les risques au sein de votre plateforme/service. Vous avez probablement déjà cette intelligence, mais la codifier dans un processus d'évaluation des risques est une bonne pratique et vous positionne mieux pour les étapes ultérieures. Considérez cela comme une évaluation d'impact sur la protection des données, mais pour la confiance et la sécurité.

Questions à se poser :

1. À quels risques êtes-vous susceptible de faire face ?
2. Quels sont les impacts de ces risques ?
3. Vos utilisateurs sont mineurs ? Y a-t-il des utilisateurs vulnérables spécifiques qui peuvent être confrontés à un impact disproportionné de certains types de problèmes ?

Évaluer l'appétit pour le risque financier, de plateforme/service et la stratégie de gouvernance de votre plateforme/service.

Questions à se poser :

1. Quel risque êtes-vous prêt à accepter ?
2. Existe-t-il une approche calculée pour limiter les dommages qui équilibre l'application avec la croissance de la plate-forme ?
3. Quelle est la tolérance légale globale de la plateforme/du service ?

Une fois que vous savez quels sont les risques et l'environnement dans lequel vous évoluez, il est temps de prendre des décisions difficiles.

Questions à se poser :

1. Quel est le budget et où est-il le mieux dépensé ?
2. Échangez-vous la confidentialité contre la sécurité ou la sécurité contre la confidentialité ?

L'approche optimale pour résoudre les problèmes est celle qui vous convient le mieux. La plupart des services de plate-forme souhaitent s'en tenir à un modèle de risque « milieu du peloton », dans lequel ils penchent davantage dans une direction, mais pas au point d'ignorer complètement l'autre direction. Un bon exemple serait des seuils abaissés pour détecter les fraudeurs potentiels. Ceci est potentiellement plus intrusif pour la vie privée , mais ce risque peut être atténué en suivant des principes tels que l'analyse minimale des données et la suppression presque immédiate du contenu bénin. Un exemple d'aller trop loin dans une direction est l'analyse des messages privés - c'est une violation pure et simple de la loi.

Il existe différentes stratégies qui peuvent aider à surmonter la restriction de la détection proactive dans la messagerie. Les couches d'une bonne stratégie globale sont :

Stratégie 1 : Prévention

Il existe une fenêtre d'opportunité très limitée pour agir juste avant (ou au moment où) le mauvais acteur s'approche d'une victime passant d'une plateforme publique à une plateforme privée. Les acteurs malveillants partagent souvent des traits dans leurs profils et leurs comportements. Ces similitudes révèlent des modèles qui peuvent être détectés par l'IA et actionnés avant même qu'une mauvaise interaction n'ait lieu. Une préoccupation possible avec cette approche est qu'elle présume qu'un utilisateur est "coupable jusqu'à preuve du contraire". L'atténuation ici est une stratégie défendable, logique et transparente sur la façon dont cette décision a été prise. Cette approche constitue le fondement de cette défense.

Avantages

1. La prévalence des mauvaises interactions sur la messagerie diminue
2. Peut également entraîner une baisse de la prévalence du « mauvais » contenu sur toutes les surfaces
3. Les mauvaises interactions sont évitées plutôt que corrigées

1. "Coupable jusqu'à preuve du contraire" est une grande préoccupation ici
2. Grandes quantités de données traitées
3. Pourrait facilement conduire à une application excessive (sans contre-mesures actives)

Les restrictions sur l'analyse du contenu des messages sous l'e-PD ne s'appliquent pas si l'utilisateur signale lui-même le contenu. Le problème est qu'amener les utilisateurs à signaler est notoirement difficile à faire, mais il existe des moyens de le rendre plus probable. La visibilité, la facilité d'utilisation et l'éducation sont les trois piliers qui sous-tendent une bonne stratégie de reporting. Encore une fois, ces piliers doivent équilibrer l'expérience utilisateur globale du produit. Cependant, grâce aux tests A/B et aux processus itératifs, un équilibre approprié peut être trouvé.

Par exemple, chaque fois qu'un nouveau fil de discussion est lancé, une bannière pourrait rappeler aux utilisateurs de signaler un mauvais comportement. Cette bannière peut avoir des messages variés, mélangeant des invites basées sur l'action avec des invites basées sur l'éducation. C'est l'occasion de rappeler aux utilisateurs que nous comptons sur eux pour signaler les mauvais acteurs — c'est aussi leur communauté à modérer !

Stratégie 3 : Détection de comptes multiples

Les mauvais acteurs exploitent et gèrent souvent plusieurs comptes, sachant que tôt ou tard leur compte sera soumis à une restriction. À ce stade, ils pourraient passer à un compte miroir, également connu sous le nom de récidive. Les utilisateurs peuvent également créer de nouveaux comptes de manière ponctuelle s'ils sont bannis de manière permanente ou suspendus temporairement. Restreindre les comptes par suspension ou bannissement est inutile si le mauvais acteur peut simplement utiliser un autre compte.

Les mesures prises pour protéger la communauté doivent être efficaces et ne pas traiter uniquement un problème isolé. Les récidivistes doivent être ciblés et ne seront arrêtés que s'ils récidivent. Sans analyse et stratégies en place, un petit nombre de mauvais acteurs peut être responsable d'une grande partie des problèmes.

Comment cela fonctionne-t-il en pratique ?

Stratégie de base — basée sur un seul point de données :

• Liste noire des adresses e-mail lorsque les utilisateurs sont suspendus
• Liste noire des informations d'inscription (numéros de téléphone, adresses IP spécifiques, informations de carte de paiement, comptes paypal) afin que si un mauvais acteur utilise des informations d'identification d'un compte interdit, il soit signalé ou bloqué

• Utilisez les informations ci-dessus non seulement pour bloquer/signaler les nouvelles inscriptions, mais également pour diffuser la recherche lorsqu'un utilisateur est bloqué pour consulter d'autres informations
• Utilisez des détails plus nuancés, tels que des photos de profil, des descriptions biographiques, des contacts dans un modèle heuristique

• Utiliser des données graphiques pour créer un modèle de risque
• Le modèle de risque peut prendre des mesures de manière proactive et rétroactive

Avantages:

1. Rend les sanctions contre les utilisateurs plus significatives
2. Empêche la récidive
3. Peut aider à identifier les comptes piratés en identifiant les informations d'identification partagées, peut également aider à représenter avec précision les utilisateurs actifs à des fins de création de rapports

1. Les faux positifs ou une application excessive peuvent se multiplier, en particulier si la base de ML devient trop dépendante des signaux de localisation ou des identifiants d'appareils (maisons d'étudiants, membres de la famille, ordinateurs publics, etc.)
2. Les points de contact jetables sont trop faciles, même si vous pouvez mettre sur liste noire les domaines communs

La meilleure solution est probablement une combinaison des trois stratégies à différents niveaux. En fin de compte, votre approche de l'application dépend des ressources disponibles, de votre pile technologique et de votre matrice de risque unique. Chaque stratégie a ses propres considérations et une stratégie holistique de gouvernance des données doit être en place pour étayer tout traitement de données.

Comment Checkstep aide-t-il ?

Empêcher un événement de se produire est possible. L'IA peut reconnaître des signaux de « méchanceté » uniques spécifiques à votre plate-forme et agir avant que le mal ne se produise. Comme toujours avec notre service, tout est paramétrable. L'IA est adaptée à votre service spécifique et vous contrôlez les seuils afin que le modèle de risque de votre service puisse être représenté avec précision.

La prévention de la récidive devrait également être une priorité de votre programme, et nous pouvons développer des stratégies sur mesure pour vous aider à empêcher les mauvais acteurs connus d'utiliser plusieurs comptes. Nous avons une équipe interne expérimentée qui a travaillé sur toutes sortes de types de problèmes à grande échelle pour des entreprises de haute technologie. La récidive est généralement considérée comme le fruit à portée de main de la modération du contenu. Avec les stratégies appropriées en place, la prévalence du comportement récidiviste peut connaître une diminution notable.

La création de rapports est un problème d'essais et d'erreurs, mais une fois que les rapports arrivent sur la plate-forme, la clé du succès est la précision et l'automatisation. Les modèles peuvent effectuer un premier passage sur les rapports générés par les utilisateurs et peuvent même prendre des mesures automatisées pour suspendre l'accès au compte. Les seuils auxquels cela se produit sont entièrement personnalisables et sous votre contrôle. À tout le moins, les rapports peuvent être triés dans différentes files d'attente et hiérarchisés en fonction de préférences personnalisées afin que le temps des réviseurs humains puisse être utilisé efficacement. L'approche automatisée peut également protéger vos réviseurs humains des pires dommages en prenant des mesures automatisées tout en les limitant au contenu pénible.

Toutes les actions de chaque stratégie sont également personnalisables. Un compte peut être bloqué, supprimé, placé en mode lecture seule automatiquement. Vous pouvez même combiner l'examen humain et l'IA pour prendre une décision.

Une fois cela fait, une notification est automatiquement générée expliquant à l'utilisateur quelle mesure a été prise, pourquoi elle a été prise et comment faire appel de cette décision. Encore une fois, les avis sont personnalisables afin que vous puissiez équilibrer la transparence avec la sécurité et protéger l'identité de votre marque. . S'assurer qu'un processus d'appel des utilisateurs est en place est conforme aux législations et réduit le risque de faux positifs tout en permettant aux utilisateurs de se sentir valorisés et entendus

Bien sûr, cela s'applique à la détection automatisée comme l'exige l'UE, mais nous savons également que les utilisateurs ne signalent souvent pas les incidents, quelle que soit la fluidité du processus. Malgré son nom, la détection proactive nécessite qu'un événement déclencheur se produise, ce qui signifie que les dommages sont causés au moment où toute action est entreprise. Chaque stratégie a besoin d'un processus d'appel pour garantir l'équité, remédier aux faux positifs et offrir aux utilisateurs une bonne expérience.

Cela permet également de protéger votre marque sur plusieurs fronts législatifs, couvrant les obligations en vertu de la législation existante telle que la directive e-Privacy , l'article 22 du RGPD (prise de décision automatisée) et la législation à venir telle que la loi sur les services numériques (DSA).

Le paysage réglementaire évolue rapidement, en particulier dans l'UE, mais l'Amérique du Nord et l'APAC évoluent également rapidement. Checkstep intègre même des rapports de transparence automatisés conformes aux exigences DSA à venir. Nous savons également que vous avez besoin de systèmes de confiance et de sécurité pour travailler dans votre opération de gouvernance plus large, c'est pourquoi nous investissons également dans des pratiques de gouvernance et de sécurité des données holistiques.

A propos de l'auteur

Kieron Maddison travaille dans le domaine de la conformité depuis plus de cinq ans, notamment OneTrust, Trainline et Meta (Facebook). Le rôle de Kieron chez Meta était un gestionnaire de programme où il était le lien entre la confiance et la sécurité, la confidentialité, la sécurité et le produit/l'ingénierie. Dans son rôle chez Meta, il a joué un rôle déterminant dans la définition de nouvelles approches de gestion de programme et a travaillé pour lancer de nouvelles initiatives allant du soutien au conseil de surveillance. Kieron est passionné par la protection des droits des personnes, en particulier des enfants et des jeunes, et est très analytique pour équilibrer cela avec les besoins des entreprises.