No cenário fragmentado da internet de hoje, é um desafio maior do que nunca identificar agentes nocivos, como trolls e disseminadores de desinformação.
Geralmente, os esforços para reconhecer contas mal-intencionadas se concentram na análise do que elas dizem. Nossa pesquisa mais recente, no entanto, sugere que deveríamos prestar mais atenção ao que elas fazem - e como o fazem.
Desenvolvemos uma maneira de identificar agentes online potencialmente prejudiciais com base apenas em seus padrões de comportamento - a maneira como interagem com os outros - em vez do conteúdo que compartilham. Apresentamos nossos resultados na recente ACM Web Conference, e recebemos o prêmio de melhor artigo.
Para além do que as pessoas dizem
As abordagens tradicionais para detectar comportamentos problemáticos online geralmente se baseiam em dois métodos. Um deles é examinar o conteúdo (o que as pessoas estão dizendo). O outro é analisar conexões de rede (quem segue quem).
Esses métodos, porém, têm limitações.
Os usuários podem driblar a análise de conteúdo. Eles podem codificar sua linguagem com cuidado ou compartilhar informações enganosas sem usar palavras óbvias que acionem os sistemas de monitoramento.
Já a análise de rede é inútil em plataformas como o Reddit. Neste tipo de plataforma as conexões entre os usuários não são explícitas, com comunidades organizadas em torno de tópicos e não de relacionamentos sociais.
Queríamos encontrar uma maneira de identificar agentes nocivos que não pudesse ser facilmente enganada. Percebemos que poderíamos, concentrando-nos no comportamento - como as pessoas interagem, e não no que elas dizem.
Ensinando a IA sobre comportamento online
Nossa abordagem usa uma técnica chamada aprendizagem por reforço inverso. Esse é um método normalmente usado para entender a tomada de decisão humana em campos como direção autônoma ou teoria dos jogos.
Adaptamos essa tecnologia para analisar como os usuários se comportam nas plataformas de mídia social.
O sistema funciona observando as ações de um usuário, como a criação de novos tópicos, a publicação de comentários e suas respostas a outros usuários. A partir dessas ações, o sistema infere a estratégia ou “política” subjacente que orienta o comportamento do usuário.
Em nosso estudo de caso no Reddit, analisamos 5,9 milhões de interações ao longo de seis anos. Identificamos cinco “personas” comportamentais distintas, incluindo um grupo particularmente notável - os “discordantes”.
Conheça os “discordantes”
Talvez nosso resultado mais surpreendente tenha sido a descoberta de uma classe inteira de usuários do Reddit cujo objetivo principal parece ser discordar dos outros. Esses usuários procuram especificamente oportunidades para publicar comentários contraditórios agressivos, especialmente em resposta a discordâncias, e depois seguem em frente sem esperar por respostas.
Os “discordantes” eram mais comuns em subreddits com foco político (fóruns focados em tópicos específicos), como r/news, r/worldnews e r/politics. É interessante notar que elas eram muito menos comuns no fórum pró-Trump r/The_Donald, agora banido, apesar de seu foco político.
Esse padrão revela como a análise comportamental pode revelar dinâmicas que a análise de conteúdo pode não perceber. No r/The_Donald, os usuários tendiam a concordar uns com os outros e, ao mesmo tempo, direcionavam a hostilidade para alvos externos. Essa dinâmica pode explicar por que a moderação tradicional de conteúdo tem encontrado dificuldades para resolver problemas com essas comunidades.
Fãs de futebol e gamers
Nossa pesquisa também revelou conexões inesperadas. Usuários que discutiam tópicos completamente diferentes às vezes apresentavam padrões de comportamento extremamente semelhantes.
Encontramos semelhanças impressionantes entre os usuários que discutem futebol (em r/soccer) e e-sports (em r/leagueoflegends).
Essa semelhança surge da natureza fundamental de ambas as comunidades. Os fãs de futebol e de e-sports se envolvem com seus interesses de maneira similar: torcem apaixonadamente por times específicos, acompanham as partidas com intenso interesse, participam de discussões acaloradas sobre estratégias e desempenho dos jogadores, comemoram vitórias e dissecam derrotas.
Ambas as comunidades promovem fortes identidades tribais. Os usuários defendem seus times favoritos e criticam os rivais.
Seja debatendo as táticas da Premier League ou os campeões de League of Legends, os padrões de interação subjacentes - o tempo, a sequência e o tom emocional das respostas - permanecem consistentes nessas comunidades tematicamente distintas.
Isso desafia a sabedoria convencional sobre a polarização online. Embora as câmaras de eco sejam frequentemente responsabilizadas pelo aumento da polarização, nossa pesquisa sugere que os padrões de comportamento podem transcender os limites do tópico. Os usuários podem estar divididos mais pela forma como interagem do que pelo que discutem.
Além da detecção de trolls
As implicações desta pesquisa vão muito além do interesse acadêmico. Os moderadores da plataforma poderiam usar padrões comportamentais para identificar usuários potencialmente problemáticos antes que eles publiquem grandes volumes de conteúdo prejudicial.
Ao contrário da moderação de conteúdo, a análise comportamental não depende da compreensão da linguagem. É difícil evitá-la, pois mudar os padrões de comportamento de uma pessoa exige mais esforço do que ajustar a linguagem.
Esta abordagem também poderia ajudar a criar estratégias mais eficazes para combater a desinformação. Em vez de nos concentrarmos apenas no conteúdo, podemos criar sistemas que incentivem padrões de envolvimento mais construtivos.
Para os usuários de mídias sociais, esta pesquisa oferece um lembrete de que a forma como nos envolvemos online - e não apenas o que dizemos - molda nossa identidade digital e influencia outras pessoas.
Como os espaços da internet continuam a lidar com a manipulação, o assédio e a polarização, abordagens que consideram padrões de comportamento juntamente com a análise de conteúdo podem oferecer soluções mais eficazes para promover comunidades online mais saudáveis.