Sumário executivo

As plataformas que permitem que os usuários enviem mensagens diretamente a outros usuários podem querer moderar essas interações por motivos de segurança. No entanto, a maioria dos tipos de verificação de mensagens privadas é ilegal na Europa sob a Diretiva de Privacidade Eletrônica e, em alguns casos, é diretamente proibida pela criptografia. Isso pode representar um risco para seus usuários e sua plataforma, especialmente porque os canais de mensagens privadas costumam ser usados ​​para tipos de danos mais graves, como compartilhamento de mídia ilegal, intimidação, extorsão, aliciamento e radicalização.

Existem diferentes maneiras de as plataformas ainda protegerem suas comunidades e marcas, o que depende de sua estratégia geral de Confiança e Segurança, que depende dos seguintes fatores:

1. Avaliação de risco e impacto de confiança e segurança da plataforma atual
2. Restrições estratégicas, regulatórias e financeiras
3. Estrutura de trade-off de segurança, proteção e privacidade

1. Prevenção visando atores maliciosos antes que eles tenham a chance de criar vítimas
2. Relatórios aprimorados, permitindo que os usuários denunciem conteúdo e comportamento prejudiciais por conta própria
3. Detecção de contas múltiplas de usuários que possuem mais de uma conta e/ou estão retornando a uma plataforma com outra conta após serem banidos (reincidência)

Checkstep, um software de confiança e segurança projetado para gerenciar operações de ponta a ponta e regulamentos de privacidade e segurança online, oferece ferramentas e serviços para ajudar com uma avaliação de risco detalhada e estratégia de implementação - adaptada às necessidades de cada plataforma e com recursos de conformidade integrados .

Verificando as mensagens privadas dos usuários para fins de confiança e segurança? É aqui que a privacidade entra em conflito com a confiança e a segurança, criando confusão nas plataformas sobre como proceder. Se você estiver na Europa, esse tipo de varredura provavelmente é ilegal de acordo com a Diretiva de Privacidade Eletrônica (ePD, Diretiva 2002/58/EC ), que proíbe qualquer tipo de monitoramento ou interceptação de mensagens ou metadados associados (Artigo 5 da ePD). Freqüentemente, o risco está contido na comunicação privada, então o que você pode fazer a respeito?

Primeiro, vamos discutir como os atores mal-intencionados geralmente operam. A maioria dos maus atores opera da mesma maneira; eles usam um serviço de plataforma pública para identificar possíveis vítimas; seja segmentando vítimas que se encaixam em um perfil específico ou segmentando o maior número possível de usuários. Depois de capturar a vítima, eles precisam movê-la para um sistema de mensagens 1-1, fornecido pela plataforma ou outra plataforma onde possam continuar com seu comportamento potencialmente prejudicial. As oportunidades para interromper esse fluxo são limitadas, pois as mensagens podem ser criptografadas e/ou podem ser ilegais para escanear, além de atores mal-intencionados se tornarem cada vez mais bons em evitar a detecção. Você pode encontrar fóruns em cantos escuros da Internet onde todos os tipos de malfeitores discutem como eles evitam a detecção na maioria das plataformas. Detectar maldade e risco é uma questão muito controversa. A natureza adversária significa que a detecção está sempre mudando. Assim que algo é colocado no lugar, os maus atores mudam seu Modus Operandi para evitá-lo: este é um jogo caro de “whack-a-mole”.

Os custos variam em tangibilidade. Você pode precisar de equipes de ML/IA e engenharia dedicadas ao problema específico, bem como pesquisadores e profissionais de governança para ajudar a gerenciá-lo (mais tangível). Os agentes mal-intencionados também podem causar rotatividade de usuários e danos à reputação de sua marca (menos tangível). Essas experiências prejudiciais abrangem todo o espectro. Dependendo da oferta da sua plataforma, você pode ver danos que variam de intimidação a ameaças à vida . A forma como as plataformas resolvem o problema depende de vários fatores:

riscos

Avaliar riscos dentro de sua plataforma/serviço. Você provavelmente já possui essa inteligência, mas codificá-la em um processo de avaliação de risco é uma boa prática e o posiciona melhor para as etapas posteriores. Pense nisso como uma avaliação de impacto de proteção de dados, mas para confiança e segurança.

Perguntas para se questionar a si mesmo:

1. Que riscos você provavelmente enfrentará?
2. Quais são os impactos desses riscos?
3. Seus usuários são menores de idade? Existem usuários vulneráveis ​​específicos que podem enfrentar um impacto desproporcional de certos tipos de problemas?

Avaliar o apetite por risco financeiro, de plataforma/serviço e a estratégia de governança de sua plataforma/serviço.

Perguntas para se questionar a si mesmo:

1. Quanto risco você está disposto a aceitar?
2. Existe uma abordagem calculada para limitar os danos que equilibre a aplicação com o crescimento da plataforma?
3. Qual é a tolerância legal geral da plataforma/serviço?

Depois de saber quais são os riscos e o ambiente em que você está operando, é hora de tomar algumas decisões difíceis.

Perguntas para se questionar a si mesmo:

1. Qual é o orçamento e onde é melhor gasto?
2. Você está trocando privacidade por segurança ou segurança por privacidade?

A abordagem ideal para resolver problemas é aquela que funciona melhor para você. A maioria dos serviços de plataforma deseja manter um modelo de risco “no meio do pacote”, no qual eles se inclinam mais para uma direção, mas não tanto que desconsiderem completamente a outra direção. Um bom exemplo seria a redução dos limites para detecção de golpistas em potencial. Isso é potencialmente mais intrusivo na privacidade , mas esse risco pode ser mitigado seguindo princípios como verificação mínima de dados e exclusão quase imediata de conteúdo benigno. Um exemplo de ir longe demais em uma direção é escanear mensagens privadas - isso é uma violação total da lei.

Existem diferentes estratégias que podem ajudar a superar a restrição da detecção proativa em mensagens. As camadas de uma boa estratégia geral são:

Estratégia 1: Prevenção

Há uma janela de oportunidade muito limitada para ação pouco antes (ou quando) o malfeitor se aproxima de uma vítima em transição de uma plataforma pública para uma privada. Atores mal-intencionados geralmente compartilham características em seus perfis e comportamento. Essas semelhanças revelam padrões que podem ser detectados pela IA e acionados antes mesmo de ocorrer uma interação ruim. Uma possível preocupação com essa abordagem é que ela presume que um usuário é “culpado até que se prove o contrário”. A mitigação aqui é uma estratégia defensável, lógica e transparente de como essa decisão foi tomada. Essa abordagem forma a base dessa defesa.

Benefícios

1. Prevalência de interações ruins em mensagens diminui
2. Também pode resultar em uma queda na prevalência de conteúdo “ruim” em todas as superfícies
3. Interações ruins são evitadas, em vez de corrigidas

1. “Culpado até que se prove o contrário” é uma grande preocupação aqui
2. Grandes quantidades de dados processados
3. Poderia facilmente levar ao excesso de fiscalização (sem contramedidas ativas)

As restrições de verificação do conteúdo da mensagem no e-PD não se aplicam se o próprio usuário relatar o conteúdo. O problema é que conseguir que os usuários denunciem é notoriamente difícil de fazer, mas existem maneiras de torná-lo mais provável. Destaque, facilidade de uso e educação são os três pilares que sustentam uma boa estratégia de relatórios. Novamente, esses pilares precisam equilibrar a experiência geral do usuário do produto. No entanto, por meio de testes A/B e processos iterativos, um equilíbrio adequado pode ser encontrado.

Por exemplo, toda vez que um novo segmento de mensagem é iniciado, um banner pode lembrar os usuários sobre a denúncia de mau comportamento. Esse banner pode ter mensagens variadas, misturando prompts baseados em ação com outros baseados em educação. É uma chance de lembrar aos usuários que confiamos neles para denunciar pessoas mal-intencionadas — esta é a comunidade deles para moderar também!

Estratégia 3: detecção de várias contas

Pessoas mal-intencionadas geralmente operam e mantêm várias contas, sabendo que, mais cedo ou mais tarde, suas contas serão restringidas. Nesse ponto, eles podem mudar para uma conta espelho, também conhecida como reincidência. Os usuários também podem criar novas contas de forma ad hoc se forem banidos permanentemente ou suspensos temporariamente. Restringir contas por suspensão ou banimento é inútil se o malfeitor puder simplesmente usar outra conta.

As medidas tomadas para proteger a comunidade precisam ser efetivas e não apenas lidar com um problema isolado. Os infratores reincidentes devem ser visados ​​e só serão pegos quando reincidirem. Sem análise e estratégias em vigor, um pequeno número de atores mal-intencionados pode ser responsável por uma grande proporção de problemas.

Como isso funciona na prática?

Estratégia básica — baseada em ponto de dados único:

• Endereços de e-mail da lista negra quando os usuários são suspensos
• Informações de inscrição na lista negra (números de telefone, endereços IP específicos, informações de cartão de pagamento, contas paypal) para que, se um malfeitor usar alguma credencial de uma conta banida, ela seja sinalizada ou bloqueada

• Use as informações acima não apenas para bloquear/sinalizar novas inscrições, mas também para expandir a pesquisa quando um usuário for bloqueado para ver outras informações
• Use detalhes mais sutis, como fotos de perfil, descrições de biografia, contatos em um modelo heurístico

• Use os dados do gráfico para criar um modelo de risco
• O modelo de risco pode agir de forma proativa e retroativa

Benefícios:

1. Torna as sanções contra os usuários mais significativas
2. Previne a reincidência
3. Pode ajudar a identificar contas invadidas identificando credenciais compartilhadas, também pode ajudar a representar com precisão usuários ativos para fins de relatório

1. Falsos positivos ou excesso de aplicação podem surgir, especialmente se o ML se tornar muito dependente de sinais de localização ou IDs de dispositivos (casas de estudantes, familiares, computadores públicos etc.)
2. Pontos de contato descartáveis ​​são muito fáceis, embora você possa colocar na lista negra os domínios comuns

A melhor solução é provavelmente uma combinação de todas as três estratégias em níveis variados. Em última análise, sua abordagem de aplicação depende dos recursos disponíveis, sua pilha de tecnologia e sua matriz de risco exclusiva. Cada estratégia tem suas próprias considerações, e uma estratégia holística de governança de dados deve estar em vigor para sustentar qualquer processamento de dados.

Como o Checkstep ajuda?

Impedir que um evento aconteça é possível. A IA pode reconhecer sinais únicos de “maldade” específicos para sua plataforma e agir antes que o dano aconteça. Como sempre em nosso serviço, tudo é configurável. A IA é ajustada ao seu serviço específico e você tem controle sobre os limites para que o modelo de risco do seu serviço possa ser representado com precisão.

Prevenir a reincidência também deve estar no topo de sua agenda, e podemos desenvolver estratégias sob medida para ajudá-lo a evitar que pessoas mal-intencionadas conhecidas usem várias contas. Temos uma equipe interna experiente que trabalhou em todos os tipos de problemas em escala para as principais empresas de tecnologia. A reincidência geralmente é vista como o fruto mais fácil da moderação de conteúdo. Com as estratégias apropriadas implementadas, a prevalência do comportamento reincidente pode ter uma diminuição notável.

A geração de relatórios é uma questão de tentativa e erro, mas uma vez que os relatórios chegam à plataforma, a chave para o sucesso é a precisão e a automação. Os modelos podem fazer uma primeira passagem em relatórios gerados por usuários e podem até mesmo executar ações automatizadas para suspender o acesso à conta. Os limites em que isso acontece são totalmente personalizáveis ​​e estão sob seu controle. No mínimo, os relatórios podem ser classificados em diferentes filas e priorizados com base em preferências personalizadas para que o tempo dos revisores humanos possa ser utilizado de forma eficaz. A abordagem automatizada também pode proteger seus revisores humanos dos piores danos, executando ações automatizadas e limitando-os a conteúdo angustiante.

Todas as ações em cada estratégia também são personalizáveis. Uma conta pode ser bloqueada, retirada, colocada em modo somente leitura automaticamente. Você pode até combinar análises humanas e de IA para tomar uma decisão.

Feito isso, uma notificação é gerada automaticamente explicando ao usuário qual ação foi tomada, por que foi tomada e como apelar dessa decisão. Novamente, os avisos são personalizáveis ​​para que você possa equilibrar transparência com segurança e proteger sua identidade de marca . Garantir que um processo de apelação do usuário esteja em conformidade com as legislações e reduza o risco de falsos positivos, além de fazer com que os usuários se sintam valorizados e ouvidos

É claro que isso se aplica à detecção automatizada conforme exigido pela UE, mas também sabemos que os usuários geralmente não relatam incidentes, independentemente de quão simples seja o processo. Apesar do nome, a detecção proativa requer que um evento desencadeador aconteça, o que significa que o dano é causado no momento em que qualquer ação é executada. Toda estratégia precisa de um processo de apelação para garantir justiça, corrigir falsos positivos e proporcionar uma boa experiência aos usuários.

Isso também mantém sua marca protegida em várias frentes legislativas, cobrindo obrigações sob a legislação existente, como a Diretiva de Privacidade Eletrônica , Artigo 22 do GDPR (tomada de decisão automatizada) e legislação futura, como a Lei de Serviços Digitais (DSA).

O cenário regulatório está se movendo rapidamente, especialmente na UE, mas a América do Norte e a APAC também estão se movendo rapidamente. A Checkstep ainda possui relatórios de transparência automatizados integrados que atendem aos requisitos futuros de DSA. Também sabemos que você precisa de sistemas de confiança e segurança para trabalhar em sua operação de governança mais ampla, por isso investimos também em práticas de governança de dados holísticas e segurança.

Sobre o autor

Kieron Maddison trabalha em compliance há mais de cinco anos, incluindo OneTrust, Trainline e Meta (Facebook). A função de Kieron na Meta era de gerente de programa, onde ele era o elo entre confiança e segurança, privacidade, segurança e produto/engenharia. Em sua função na Meta, ele foi fundamental na definição de novas abordagens para o gerenciamento de programas e trabalhou para criar novas iniciativas, desde o suporte até o conselho de supervisão. Kieron é apaixonado por proteger os direitos das pessoas, especialmente crianças e jovens, e é altamente analítico em equilibrar isso com as necessidades de negócios.