Sintesi

Le piattaforme che consentono agli utenti di inviare messaggi direttamente ad altri utenti potrebbero voler moderare tali interazioni per motivi di sicurezza. Tuttavia, la maggior parte dei tipi di scansione dei messaggi privati ​​è illegale in Europa ai sensi della direttiva e-Privacy e in alcuni casi è direttamente vietata dalla crittografia. Ciò può rappresentare un rischio per i tuoi utenti e la tua piattaforma, soprattutto perché i canali di messaggistica privata sono spesso utilizzati per tipi di danno più gravi, ad esempio condivisione di media illegali, bullismo, estorsione, adescamento e radicalizzazione.

Esistono diversi modi in cui le piattaforme possono ancora proteggere le loro comunità e il loro marchio, che dipendono dalla loro strategia globale di fiducia e sicurezza che si basa sui seguenti fattori:

1. Attuale piattaforma Trust & Safety valutazione del rischio e dell'impatto
2. Vincoli strategici, normativi e finanziari
3. Quadro di compromesso di sicurezza, protezione e privacy

1. Prevenzione prendendo di mira gli attori malintenzionati prima che abbiano la possibilità di creare vittime
2. Segnalazione migliorata, che consente agli utenti di segnalare autonomamente contenuti e comportamenti dannosi
3. Rilevamento di più account di utenti che hanno più di un account e/o stanno tornando su una piattaforma con un altro account dopo essere stati bannati (recidiva)

Checkstep, un software Trust & Safety progettato per gestire le operazioni end-to-end e le normative sulla privacy e sulla sicurezza online, offre strumenti e servizi per aiutare con una valutazione dettagliata dei rischi e una strategia di implementazione, adattati alle esigenze di ciascuna piattaforma e con funzionalità di conformità integrate .

Scansionare i messaggi privati ​​degli utenti per motivi di affidabilità e sicurezza? È qui che la privacy è in conflitto con la fiducia e la sicurezza, creando confusione per le piattaforme su come procedere. Se ti trovi in ​​Europa, questo tipo di scansione è probabilmente illegale ai sensi della Direttiva e-Privacy (ePD, Direttiva 2002/58/CE ), che vieta qualsiasi tipo di monitoraggio o intercettazione di messaggi o metadati associati (Articolo 5 di ePD). Spesso il rischio è contenuto nella comunicazione privata, quindi cosa puoi fare al riguardo?

Innanzitutto, discutiamo di come spesso operano i cattivi attori. La maggior parte dei cattivi attori opera allo stesso modo; utilizzano un servizio di piattaforma pubblica per identificare potenziali vittime; prendendo di mira le vittime che si adattano a un profilo specifico o prendendo di mira il maggior numero possibile di utenti. Una volta che hanno la loro vittima, devono spostarla in un sistema di messaggistica 1–1, fornito dalla piattaforma o da un'altra piattaforma dove possono continuare il loro comportamento potenzialmente dannoso. Ci sono opportunità limitate per interrompere questo flusso, poiché i messaggi possono essere crittografati e/o potrebbe essere illegale scansionarli, oltre a malintenzionati che diventano sempre più bravi a eludere il rilevamento. Puoi trovare forum negli angoli bui di Internet in cui tutti i tipi di malintenzionati discutono su come eludere il rilevamento sulla maggior parte delle piattaforme. Rilevare la cattiveria e il rischio è una questione molto contraddittoria. La natura contraddittoria significa che il rilevamento è in continua evoluzione. Non appena qualcosa viene messo in atto, i cattivi attori cambiano il loro Modus Operandi per evitarlo: questo è un costoso gioco di "colpisci la talpa".

I costi variano in termini di tangibilità. Potrebbero essere necessari team di ML/AI e ingegneri dedicati al problema specifico, nonché ricercatori e professionisti della governance per aiutarli a gestirlo (più tangibile). Gli attori malintenzionati possono anche causare abbandono degli utenti e danni alla reputazione di il tuo marchio (meno tangibile). Queste esperienze dannose abbracciano lo spettro. A seconda dell'offerta della tua piattaforma, potresti riscontrare danni che vanno dal bullismo alle minacce alla vita . Il modo in cui le piattaforme risolvono il problema dipende da diversi fattori:

Rischi

Valutare i rischi all'interno della tua piattaforma/servizio. Probabilmente hai già questa intelligenza, ma codificarla in un processo di valutazione del rischio è una buona pratica e ti posiziona meglio per i passaggi successivi. Pensa a questa come una valutazione dell'impatto sulla protezione dei dati, ma per la fiducia e la sicurezza.

Domande da porsi:

1. Quali rischi potresti dover affrontare?
2. Quali sono gli impatti di tali rischi?
3. I tuoi utenti sono minorenni? Ci sono specifici utenti vulnerabili che possono subire un impatto sproporzionato da determinati tipi di problemi?

Valutare la propensione al rischio finanziario, di piattaforma/servizio e la strategia di governance della tua piattaforma/servizio.

Domande da porsi:

1. Quanto rischio sei disposto ad accettare?
2. Esiste un approccio calcolato per limitare i danni che bilancia l'applicazione con la crescita della piattaforma?
3. Qual è la tolleranza legale complessiva della piattaforma/servizio?

Una volta che sai quali sono i rischi e l'ambiente in cui stai operando, è il momento di prendere alcune decisioni difficili.

Domande da porsi:

1. Qual è il budget e dove è meglio speso?
2. Stai scambiando la privacy con la sicurezza o la sicurezza con la privacy?

L'approccio ottimale per risolvere i problemi è quello che funziona meglio per te. La maggior parte dei servizi di piattaforma desidera attenersi a un modello di rischio "medio del branco", per cui si inclina maggiormente in una direzione, ma non così tanto da ignorare completamente l'altra direzione. Un buon esempio potrebbe essere l'abbassamento delle soglie per il rilevamento di potenziali truffatori. Questo è potenzialmente più invadente per la privacy , ma tale rischio può essere mitigato seguendo principi come la scansione minima dei dati e l'eliminazione quasi immediata per contenuti innocui. Un esempio di andare troppo lontano in una direzione è la scansione dei messaggi privati: questa è una vera e propria violazione della legge.

Esistono diverse strategie che possono aiutare a superare la restrizione del rilevamento proattivo nella messaggistica. Gli strati di una buona strategia globale sono:

Strategia 1: Prevenzione

C'è una finestra di opportunità di azione molto limitata appena prima (o mentre) il cattivo attore si avvicina a una vittima che passa da una piattaforma pubblica a una privata. Gli attori malintenzionati spesso condividono tratti nei loro profili e comportamenti. Queste somiglianze rivelano schemi che possono essere rilevati dall'intelligenza artificiale e messi in atto prima ancora che abbia luogo una cattiva interazione. Una possibile preoccupazione con questo approccio è che presume che un utente sia "colpevole fino a prova contraria". La mitigazione qui è una strategia difendibile, logica e trasparente su come è stata presa quella decisione. Questo approccio costituisce il fondamento di questa difesa.

Benefici

1. Diminuisce la prevalenza di interazioni negative sui messaggi
2. Può anche comportare un calo della prevalenza di contenuti "cattivi" su tutte le piattaforme
3. Le cattive interazioni vengono prevenute, piuttosto che rimediate

1. "Colpevole fino a prova contraria" è una grande preoccupazione qui
2. Grandi quantità di dati elaborati
3. Potrebbe facilmente portare a un'applicazione eccessiva (senza contromisure attive)

Le restrizioni sulla scansione del contenuto dei messaggi ai sensi dell'e-PD non si applicano se l'utente stesso segnala il contenuto. Il problema è che convincere gli utenti a segnalare è notoriamente difficile da fare, ma ci sono modi in cui possiamo renderlo più probabile. Prominenza, facilità d'uso e formazione sono i tre pilastri alla base di una buona strategia di reporting. Ancora una volta, questi pilastri devono bilanciare l'esperienza utente complessiva del prodotto. Tuttavia, attraverso test A/B e processi iterativi, è possibile trovare un equilibrio adeguato.

Ad esempio, ogni volta che viene avviato un nuovo thread di messaggi, un banner potrebbe ricordare agli utenti di segnalare comportamenti scorretti. Questo banner può avere messaggi diversi, mescolando suggerimenti basati sull'azione con quelli basati sull'istruzione. È un'opportunità per ricordare agli utenti che ci affidiamo a loro per segnalare i malintenzionati: anche questa è la loro community da moderare!

Strategia 3: rilevamento di più account

I malintenzionati spesso operano e gestiscono più account, sapendo che prima o poi il loro account verrà sottoposto a una restrizione. A questo punto, potrebbero passare a un account mirror, noto anche come recidiva. Gli utenti possono anche creare nuovi account su base ad hoc se vengono bannati in modo permanente o sospesi temporaneamente. Limitare gli account mediante sospensione o divieto è inutile se il malintenzionato può semplicemente utilizzare un altro account.

Le misure adottate per proteggere la comunità devono essere efficaci e non affrontare solo un problema isolato. I recidivi devono essere presi di mira e verranno spazzati via solo quando recidiveranno. Senza analisi e strategie in atto, un piccolo numero di malintenzionati può essere responsabile di un'ampia percentuale di problemi.

Come funziona in pratica?

Strategia di base — basata su un singolo punto dati:

• Indirizzi email nella lista nera quando gli utenti vengono sospesi
• Informazioni di iscrizione alla lista nera (numeri di telefono, indirizzi IP specifici, informazioni sulla carta di pagamento, account paypal) in modo che se un malintenzionato utilizza alcune credenziali da un account vietato, viene contrassegnato o bloccato

• Utilizza le informazioni di cui sopra non solo per bloccare/segnalare nuove iscrizioni, ma anche per eseguire la ricerca a ventaglio quando un utente è bloccato per guardare altre informazioni
• Usa dettagli più sfumati, come immagini del profilo, descrizioni biografiche, contatti in un modello euristico

• Usa i dati del grafico per creare un modello di rischio
• Il modello di rischio può agire su base proattiva e retroattiva

Benefici:

1. Rende più significative le sanzioni contro gli utenti
2. Previene la recidiva
3. Può aiutare a identificare gli account compromessi identificando le credenziali condivise, può anche aiutare a rappresentare con precisione gli utenti attivi ai fini della segnalazione

1. I falsi positivi o l'applicazione eccessiva possono insinuarsi, specialmente se il ML basato diventa troppo dipendente dai segnali di posizione o dagli ID dei dispositivi (case degli studenti, membri della famiglia, computer pubblici, ecc.)
2. I punti di contatto usa e getta sono fin troppo facili, anche se puoi inserire nella lista nera i domini comuni

La soluzione migliore è probabilmente una combinazione di tutte e tre le strategie a vari livelli. In definitiva, il tuo approccio all'applicazione dipende dalle risorse disponibili, dal tuo stack tecnologico e dalla tua unica matrice di rischio. Ogni strategia ha le proprie considerazioni e deve essere in atto una strategia di governance dei dati olistica per sostenere qualsiasi elaborazione dei dati.

In che modo Checkstep aiuta?

Impedire che un evento accada è possibile. L'intelligenza artificiale può riconoscere segnali di "cattiveria" unici specifici per la tua piattaforma e agire prima che si verifichi il danno. Come sempre con il nostro servizio, tutto è configurabile. L'intelligenza artificiale è sintonizzata sul tuo servizio specifico e hai il controllo sulle soglie in modo che il modello di rischio del tuo servizio possa essere rappresentato con precisione.

Anche la prevenzione della recidiva dovrebbe essere in cima alla tua agenda e possiamo sviluppare strategie su misura per aiutarti a prevenire noti malintenzionati che utilizzano più account. Abbiamo un team interno esperto che ha lavorato su tutti i tipi di problemi su larga scala per le migliori aziende tecnologiche. Il recidivismo è solitamente visto come il frutto della moderazione dei contenuti. Con le strategie appropriate in atto, la prevalenza del comportamento recidivo può vedere una notevole diminuzione.

Il reporting è un problema di tentativi ed errori, ma una volta che i report arrivano nella piattaforma, la chiave del successo è l'accuratezza e l'automazione. I modelli possono effettuare un primo passaggio alle segnalazioni sollevate dagli utenti e possono persino intraprendere azioni automatizzate per sospendere l'accesso all'account. Le soglie alle quali ciò accade sono completamente personalizzabili e sotto il tuo controllo. Per lo meno, i report possono essere ordinati in diverse code e ordinati per priorità in base alle preferenze personalizzate in modo che il tempo dei revisori umani possa essere utilizzato in modo efficace. L'approccio automatizzato può anche proteggere i tuoi revisori umani dai peggiori danni intraprendendo azioni automatizzate limitandole a contenuti angoscianti.

Anche tutte le azioni su ciascuna strategia sono personalizzabili. Un account può essere bloccato, rimosso, messo automaticamente in modalità di sola lettura. Puoi persino combinare la revisione umana e quella dell'intelligenza artificiale per prendere una decisione.

Fatto ciò, viene generata automaticamente una notifica che spiega all'utente quale azione è stata intrapresa, perché è stata intrapresa e come presentare ricorso contro questa decisione. Anche in questo caso, gli avvisi sono personalizzabili in modo da poter bilanciare la trasparenza con la sicurezza e proteggere l'identità del tuo marchio . Garantire che sia in atto un processo di ricorso degli utenti conforme alle normative e riduce il rischio di falsi positivi, facendo anche sentire gli utenti apprezzati e ascoltati

Ovviamente questo vale per il rilevamento automatico come richiesto dall'UE, ma sappiamo anche che gli utenti spesso non segnalano incidenti indipendentemente da quanto sia fluido il processo. Nonostante il suo nome, il rilevamento proattivo richiede che si verifichi un evento scatenante, il che significa che il danno è stato fatto nel momento in cui viene intrapresa qualsiasi azione. Ogni strategia necessita di una procedura di ricorso per garantire l'equità, correggere i falsi positivi e offrire agli utenti una buona esperienza.

Ciò mantiene anche il tuo marchio protetto su più fronti legislativi, coprendo gli obblighi previsti dalla legislazione esistente come la direttiva e-Privacy , l'articolo 22 del GDPR (processo decisionale automatizzato) e la legislazione imminente come il Digital Services Act (DSA).

Il panorama normativo si sta muovendo rapidamente, soprattutto nell'UE, ma anche il Nord America e l'APAC si stanno muovendo rapidamente. Checkstep dispone anche di rapporti di trasparenza automatizzati integrati conformi ai requisiti DSA imminenti. Sappiamo anche che hai bisogno di sistemi di fiducia e sicurezza per lavorare nella tua operazione di governance più ampia, quindi investiamo anche in pratiche olistiche di governance dei dati e sicurezza

Circa l'autore

Kieron Maddison ha lavorato in conformità per più di cinque anni, tra cui OneTrust, Trainline e Meta (Facebook). Il ruolo di Kieron in Meta era un Program Manager dove era il collegamento tra fiducia e sicurezza, privacy, sicurezza e prodotto/ingegneria. Nel suo ruolo in Meta è stato determinante nella definizione di nuovi approcci per la gestione del programma e ha lavorato per dare vita a nuove iniziative dal supporto all'Organismo di Vigilanza. Kieron è appassionato di proteggere i diritti delle persone, in particolare bambini e giovani, ed è molto analitico nel bilanciare questo con le esigenze aziendali.