Profundo – O Facebook espera que “recursos profundos” o mantenham à frente em sua corrida armamentista com contas abusivas. John Timmer – 4 de março de 2020 21h55 UTC Ampliar / O aplicativo do Facebook exibido na tela de um iPhone. Muitas redes neurais são caixas pretas. Sabemos que eles podem categorizar com êxito as coisas – imagens com gatos, raios-X com câncer etc. – mas para muitos deles, não conseguimos entender o que eles usam para chegar a essa conclusão. Mas isso não significa que as pessoas não possam inferir as regras que usam para encaixar as coisas em diferentes categorias. E isso cria um problema para empresas como o Facebook, que esperam usar a IA para se livrar de contas que abusam de seus termos de serviço. A maioria dos spammers e scammers cria contas em massa, e eles podem facilmente procurar diferenças entre as que são banidas e as que escorregam sob o radar. Essas diferenças podem permitir que eles evitem algoritmos automatizados estruturando novas contas para evitar os recursos que acionam proibições. O resultado final é uma corrida armamentista entre algoritmos e spammers e scammers que tentam adivinhar suas regras. O Facebook acha que encontrou uma maneira de evitar se envolver nessa corrida armamentista enquanto ainda usa ferramentas automatizadas para policiar seus usuários e, nesta semana, decidiu contar à imprensa sobre isso. O resultado foi uma janela interessante sobre como manter a moderação baseada em IA útil diante do comportamento adversário, uma abordagem que pode ser aplicada muito além do Facebook. O problema O Facebook vê bilhões de usuários ativos em um mês, e apenas uma pequena fração deles se enquadra na categoria que a empresa considera abusiva: contas falsas e comprometidas, spammers e aqueles que usam a rede social para executar fraudes. Portanto, embora a empresa possa (e faça) usar moderadores humanos, o problema é simplesmente grande o suficiente para que não se espere que eles entendam tudo. O que significa que é necessário algum tipo de sistema automatizado se o serviço não quiser ser inundado pelo conteúdo que não deseja ver. O Facebook (ou qualquer outro operador de rede social) obviamente terá acesso a muitos dados que podem ser usados por um sistema automatizado: histórico de postagem de uma conta, detalhes fornecidos no logon, redes de amigos etc. E um algoritmo poderia facilmente usar esses dados para identificar contas problemáticas, incluindo redes neurais que são treinadas usando os dados e uma lista com curadoria de comportamento problemático e aceitável feita por humanos. O problema, como mencionado acima, é que as pessoas que executam contas abusivas também têm acesso a todos esses dados e podem descobrir os recursos que estão causando o banimento das contas. Como alternativa, eles podem mudar seu comportamento o suficiente para evitar desencadear suspeitas. Isso aumenta o risco de uma corrida armamentista, com os golpistas perpetuamente dando um passo à frente dos algoritmos que pretendem pegá-los. Para evitar isso, os pesquisadores do Facebook passaram do uso de dados da conta para o que pode ser chamado de metadados da conta. Em vez de usar o número de postagens que uma determinada conta pode fazer, ele analisa o número de postagens que a conta de um amigo típico faz. Valores semelhantes podem ser gerados para o número médio de amigos aos quais os amigos da conta estão conectados, com que frequência as solicitações de amigos são enviadas e assim por diante. Uma série de valores como esse é combinada em um perfil que os pesquisadores da empresa estão chamando de “entidade profunda”. A suposição aqui é que a conta típica estabelecerá relacionamentos com contas que também estão mais próximas da típica. Enquanto isso, um spammer provavelmente terá menos conexões com contas genuínas e mais com coisas como contas de bot, que também exibem padrões incomuns de comportamento e conexões. O perfil profundo da entidade captura essas diferenças agregadas e oferece duas vantagens principais: é muito mais difícil para os proprietários de contas abusivos entenderem que aspectos de uma entidade profunda estão sendo usados por um algoritmo e é muito mais difícil para os proprietários de alterar isso, mesmo se eles pudessem entender. Classificação de entidade profunda A classificação de entidade profunda é relativamente simples, se um pouco intensiva em computação. Simplesmente envolve rastrear o gráfico de rede de um determinado usuário e agregar dados de todas as suas conexões. O ponto em que as coisas entram no campo da ciência da computação é como essas classificações são usadas para realmente identificar contas problemáticas. Os engenheiros do Facebook decidiram usar uma rede neural para realizar a classificação. Isso exige que a rede tenha dados de treinamento: perfis de entidades profundas marcados com indicações de se a conta é problemática ou não. Aqui, os engenheiros tinham duas opções. O trabalho com outros algoritmos de classificação produziu um grande volume de dados relativamente incertos que sinalizaram contas diferentes como problemáticas ou não. Enquanto isso, os moderadores humanos passaram por uma coleção muito menor de contas, mas fizeram chamadas de qualidade muito mais alta sobre se a conta era abusiva. O pessoal do Facebook decidiu naturalmente usar os dois. Eles produziram um sistema de duas camadas. Na camada externa, uma rede neural de várias camadas usava os dados de treinamento de baixa qualidade para identificar contas com perfis de entidades profundas que normalmente estavam associados a comportamentos estranhos. Enquanto essa rede neural processaria naturalmente os dados até chegar a uma decisão binária – abusiva ou não -, os pesquisadores realmente pararam a análise na camada pouco antes das decisões binárias. A essa altura, a rede havia processado as informações originais da entidade profunda em um número limitado de valores que seria usado para identificar se as conexões de uma conta são incomuns ou não. Esses valores podem ser extraídos como um vetor de 32 números que captura os recursos normalmente associados a contas incomuns. Esses valores foram enviados para uma segunda forma de processamento, usando uma abordagem de aprendizado de máquina chamada árvore de decisão. Essa árvore de decisão foi treinada usando dados de contas rotuladas por humanos. Criticamente, os engenheiros do Facebook treinaram várias árvores de decisão: uma para spammers, outra para contas invadidas e assim por diante. Essas árvores de decisão fazem a chamada final sobre se uma conta representa um problema e precisa ser desativada. Ciência da computação cumpre política O sistema já está em produção há algum tempo e provou ser bem-sucedido, bloqueando um mínimo de meio bilhão de contas a cada trimestre, com uma alta de mais de 2 bilhões de blocos no primeiro trimestre do ano passado. As contas bloqueadas também podem ser usadas para treinar constantemente o sistema em segundo plano e podem avaliar suas próprias métricas para determinar quando a reciclagem progrediu até o ponto em que o sistema em produção pode ser substituído produtivamente. Embora o sistema possa ser eficaz, a decisão sobre como implantá-lo (e como integrá-lo a uma estratégia maior para conteúdo aceitável) é uma questão de política e não de ciência da computação. Os moderadores humanos fornecem um nível mais alto de precisão em suas chamadas sobre se o conteúdo é abusivo, e um gerente de comunicações do Facebook disse à Ars que a empresa está expandindo bastante o uso de moderadores humanos. Mas os seres humanos podem agir apenas sobre o conteúdo relatado, enquanto os algoritmos podem funcionar preventivamente. Portanto, atingir o equilíbrio certo de investir nos dois aspectos da moderação vai acabar sendo uma decisão judicial. A outra questão sugerida por essa tecnologia é se ela pode ser implantada nas contas que espalham informações erradas sobre tópicos como mudanças climáticas e informações sobre saúde – a última questão que parece maior à medida que o coronavírus se espalha inabalável. Aqui, a empresa atravessou uma linha incômoda, tentando evitar se tornar, nas palavras de seu gerente de comunicação, “o árbitro da verdade” – incluindo notavelmente a recusa em policiar o conteúdo factual de anúncios políticos. Sua abordagem para terceirizar a verificação de fatos provocou um incêndio por permitir que sites com um histórico questionável sobre fatos sirvam como verificadores de fatos. O gerente de comunicação do Facebook disse à Ars que alegações de saúde específicas que foram desmascaradas pela OMS ou CDC podem ser removidas. Mas não há indicação de que os grupos que fazem repetidamente tais reivindicações verão suas contas suspensas – mesmo que ferramentas como a descrita aqui devam facilitar sua identificação. Em outras palavras, enquanto os engenheiros do Facebook podem ter feito um trabalho magistral no desenvolvimento de um sistema que pode identificar contas problemáticas, decidir como aplicar essa tecnologia permanece uma decisão política.
Como você evita que o comportamento de uma IA se torne previsível?
