A guerra da IA contra o discurso extremista está a tornar-se perigosa rapidamente

Por toda a indústria tecnológica, empresas vendem sistemas de IA que prometem detetar propaganda terrorista, ameaças violentas e padrões de radicalização à velocidade de uma máquina. Os governos querem-nos. As plataformas precisam deles. Os investidores ouvem a proposta e veem uma mina de ouro. O discurso de vendas é sempre o mesmo. A máquina é mais rápida que os humanos. A máquina consegue ver padrões que os humanos não veem. A máquina pode parar o perigo antes que se espalhe. Parece algo limpo, moderno e inevitável.

Mas quando esses sistemas chegam ao mundo real, a história torna-se feia. A língua não é matemática. A religião não é uma cena de crime. A raiva política não é o mesmo que uma intenção violenta. No entanto, as ferramentas de moderação de IA continuam a misturar estas linhas, especialmente quando o árabe, o urdu e outras línguas muito vigiadas entram em cena. Há anos que os investigadores alertam para isto. A Human Rights Watch, a Access Now e várias equipas académicas documentaram erros repetidos na moderação automatizada ligada a conflitos, ao Islão e ao discurso político. Em bom português, as máquinas estão a tomar decisões sérias em situações onde o contexto é tudo e a precisão é muitas vezes duvidosa.

A prova não é teórica. Em 2021, o próprio Conselho de Supervisão da Meta afirmou que a empresa tinha removido indevidamente conteúdo que documentava abusos no Médio Oriente. Isto aconteceu porque os seus sistemas estavam a aplicar as regras de forma excessiva a material em língua árabe. Durante períodos de conflito, este padrão tornou-se dolorosamente familiar. Publicações são removidas. Contas são congeladas. Jornalistas, ativistas e utilizadores comuns ficam a gritar para o vazio, enquanto as plataformas insistem que estão a proteger o público. Às vezes, estão a bloquear propaganda. Outras vezes, estão simplesmente a ignorar o contexto.

Esse é o perigo central no novo mercado de segurança com IA. É vendido como um escudo contra o terrorismo, mas na prática comporta-se muitas vezes como uma ferramenta imprecisa. Uma frase, uma imagem, um clipe de um sermão, uma discussão histórica, uma publicação de luto após um ataque, e um sistema pode tratar tudo como variações da mesma ameaça. A máquina não entende o luto. Não percebe a sátira. Não sabe se um utilizador está a elogiar a violência, a condená-la ou a documentá-la. Prevê com base em padrões. E padrões construídos com base em anos de dados enviesados podem tornar-se suspeita automatizada.

Isto não é paranoia. É assim que o aprendizado de máquina funciona. Os modelos aprendem com rótulos do passado, e esses rótulos refletem juízos humanos, prioridades institucionais e pressão política. Se as equipas de fiscalização se focaram historicamente mais em certas regiões, línguas ou marcadores religiosos, então o modelo treinado com esse histórico irá absorver esses padrões. Investigadores de instituições como Stanford e NYU mostraram repetidamente que os sistemas de moderação de conteúdo podem ter um desempenho desigual entre diferentes línguas e contextos culturais. O inglês recebe os dados de treino mais ricos, os maiores ajustes de políticas e a maior atenção pública. Todos os outros ficam muitas vezes com as sobras.

Agora, junte-se a isso o mercado do contraterrorismo, onde o medo impulsiona as compras e a subtileza é a primeira a morrer. É aqui que os fornecedores prometem identificar caminhos de radicalização, ligações em rede e narrativas de alto risco antes que os analistas humanos os consigam detetar. A proposta parece irresistível depois de cada grande ataque. Nenhum ministro ou autarca quer ser a autoridade que disse não a uma ferramenta vendida como prevenção. Mas as alegações preditivas nesta área merecem um ceticismo forte. A história da tecnologia de segurança está cheia de produtos que prometeram muito e entregaram pouco, especialmente quando os fornecedores apresentavam uma simples organização de dados como se fosse um avanço revolucionário na inteligência.

Até alguns dos maiores defensores da segurança da IA sabem que isto pode ficar fora de controlo rapidamente. O problema não é se existe conteúdo extremista violento online. Existe, e as plataformas passaram anos a tentar contê-lo. O problema é o salto de identificar propaganda óbvia para construir sistemas que deduzem uma ideologia perigosa a partir de fragmentos de discurso, associações ou vocabulário religioso. É aí que o policiamento legítimo se pode confundir com o perfilamento digital.

A Europa está a tornar-se um campo de batalha fundamental. Ao abrigo da Lei dos Serviços Digitais da UE, as grandes plataformas enfrentam pressão para agir de forma mais agressiva contra material ilegal e prejudicial, incluindo conteúdo terrorista. Ao mesmo tempo, grupos de direitos humanos alertam que a automação agressiva pode apagar o discurso legal e enterrar os recursos em burocracia. No Reino Unido, onde a política de combate ao extremismo é há muito tempo politicamente sensível, grupos de liberdades civis passaram anos a contestar os excessos em programas destinados a detetar sinais de radicalização. A IA ameaça agora sobrecarregar esses mesmos instintos com menos transparência e em maior escala.

E depois há o problema da internet aberta. A IA generativa tornou mais fácil produzir propaganda em várias línguas, clonar símbolos, remisturar discursos e inundar redes com material persuasivo a baixo custo. A Europol alertou em 2023 que a IA generativa poderia apoiar operações criminosas e extremistas, tornando o recrutamento e a propaganda mais escaláveis. Esse aviso é importante. A ameaça é real. Mas é exatamente por isso que o pânico é tão perigoso. Uma ameaça real pode ser usada para justificar ferramentas de má qualidade, vigilância em massa e parcerias secretas entre governos e empresas de tecnologia que operam com pouca responsabilidade pública.

É aqui que as teorias da conspiração começam a surgir. E elas prosperam porque as instituições as alimentam. Quando os governos se recusam a explicar como os sistemas sinalizam os utilizadores, quando as plataformas se escondem atrás de uma linguagem vaga de segurança e quando pessoas inocentes perdem as suas contas ou enfrentam investigações sem uma solução clara, o vazio é preenchido por rumores. As pessoas começam a acreditar que estão a ser vigiadas pelas palavras que usam para rezar, pela história que discutem ou pela política que criticam. Às vezes, esses medos são exagerados. Outras vezes, não. A questão é simples: a opacidade gera suspeita, e a IA torna o poder opaco ainda mais difícil de desafiar.

A defesa favorita da indústria é que a revisão humana continua a fazer parte do processo. Isso parece reconfortante até se olhar para a escala. Milhares de milhões de publicações circulam nas grandes plataformas. Os filtros automáticos fazem a primeira triagem. Os sistemas de despistagem classificam o risco. Os revisores trabalham sob pressão, muitas vezes com conhecimento local limitado e pouco tempo. Assim que um sistema de IA marca algo como perigoso, esse rótulo pode moldar todas as decisões posteriores. A supervisão humana nestes processos é muitas vezes menos uma salvaguarda e mais uma aprovação automática sob pressão.

Nada disto significa que as empresas de tecnologia devam abandonar os esforços para parar a violência extremista real online. Isso seria absurdo. A propaganda do Estado Islâmico, os manuais de ataque e as campanhas de recrutamento organizadas usaram plataformas digitais de forma eficaz no passado, e as agências de aplicação da lei em toda a Europa, Ásia e Médio Oriente documentaram como as redes encriptadas e os ecossistemas de média online podem ajudar grupos violentos. A ameaça não é inventada. O problema é que as empresas e os governos estão a agir como se uma deteção mais rápida significasse automaticamente uma deteção mais inteligente. Não significa.

O caminho mais inteligente é mais difícil e menos glamoroso. Significa alegações mais contidas. Melhor conhecimento linguístico. Auditorias independentes. Relatórios públicos de erros. Sistemas de recurso claros. Regras fortes contra a dedução de intenção violenta apenas com base na religião. Significa admitir que um modelo não consegue resolver de forma fiável a ambiguidade política, religiosa e cultural em grande escala, só porque o painel de um fornecedor acende uma luz vermelha.

A indústria da IA adora falar sobre alinhamento. Aqui está um verdadeiro teste. Se estes sistemas não conseguem distinguir a fé do fanatismo, a reportagem da propaganda, ou a dissidência do perigo, então não nos estão a tornar mais seguros. Estão a automatizar uma das mais antigas falhas da política moderna: tratar comunidades inteiras como um problema a ser gerido. E uma vez que essa lógica é programada em código, ela move-se rapidamente, esconde-se bem e é brutalmente difícil de desfazer.