La guerra de la IA contra el discurso extremista se vuelve peligrosa

En toda la industria tecnológica, las empresas venden sistemas de IA que prometen detectar propaganda terrorista, amenazas violentas y patrones de radicalización a la velocidad de una máquina. Los gobiernos los quieren. Las plataformas los necesitan. Los inversores escuchan la propuesta y ven una mina de oro. El lenguaje de ventas es siempre el mismo. La máquina es más rápida que los humanos. La máquina puede ver patrones que los humanos no ven. La máquina puede detener el peligro antes de que se propague. Suena limpio, moderno e inevitable.

Pero cuando esos sistemas llegan al mundo real, la historia se vuelve turbia. El lenguaje no es matemática. La religión no es la escena de un crimen. La ira política no es lo mismo que una intención violenta. Sin embargo, las herramientas de moderación de IA siguen borrando estas líneas, especialmente cuando entran en juego el árabe, el urdu y otros idiomas muy vigilados. Los investigadores llevan años advirtiendo sobre esto. Human Rights Watch, Access Now y varios equipos académicos han documentado errores repetidos en la moderación automatizada relacionados con conflictos, el islam y el discurso político. En palabras simples, las máquinas toman decisiones serias en temas donde el contexto lo es todo y la precisión es a menudo dudosa.

La evidencia no es teórica. En 2021, el propio Consejo Asesor de Meta dijo que la compañía había eliminado por error contenido que documentaba abusos en Medio Oriente porque sus sistemas aplicaban sus reglas con demasiada dureza contra el material en árabe. Durante períodos de conflicto, este patrón se ha vuelto dolorosamente familiar. Se eliminan publicaciones. Se congelan cuentas. Periodistas, activistas y usuarios comunes se quedan gritando al vacío mientras las plataformas insisten en que están protegiendo al público. A veces bloquean propaganda. Otras veces, simplemente arrasan con el contexto.

Ese es el peligro central en el nuevo mercado de seguridad de la IA. Se vende como un escudo contra el terrorismo, pero en la práctica suele actuar como una herramienta tosca. Una frase, una imagen, un fragmento de un sermón, una discusión histórica, una publicación llena de dolor tras un ataque... y un sistema puede tratarlos a todos como variaciones de la misma amenaza. La máquina no entiende el luto. No capta el sarcasmo. No sabe si un usuario está elogiando la violencia, condenándola o documentándola. Predice basándose en patrones. Y los patrones construidos sobre años de datos sesgados pueden convertirse en sospecha automatizada.

Esto no es paranoia. Así es como funciona el aprendizaje automático. Los modelos aprenden de etiquetas pasadas, y las etiquetas pasadas reflejan juicios humanos, prioridades institucionales y presiones políticas. Si los equipos de moderación se han centrado históricamente más en ciertas regiones, idiomas o marcadores religiosos, entonces el modelo entrenado con esa historia absorberá esos patrones. Investigadores de instituciones como Stanford y NYU han demostrado repetidamente que los sistemas de moderación de contenido pueden funcionar de manera desigual entre diferentes idiomas y contextos culturales. El inglés recibe los datos de entrenamiento más ricos, el mayor ajuste de políticas y el mayor escrutinio público. Los demás a menudo se quedan con las sobras.

Ahora sumemos el mercado antiterrorista, donde el miedo impulsa las compras y el matiz es lo primero que muere. Aquí es donde los proveedores prometen identificar rutas de radicalización, vínculos entre redes y narrativas de alto riesgo antes de que los analistas humanos puedan detectarlos. La propuesta suena irresistible después de cada gran ataque. Ningún ministro o alcalde quiere ser el funcionario que le dijo no a una herramienta promocionada como prevención. Pero las afirmaciones predictivas en este campo merecen un gran escepticismo. La historia de la tecnología de seguridad está llena de productos que prometieron mucho y cumplieron poco, especialmente cuando los vendedores disfrazaban una simple clasificación de datos con el lenguaje de avances de inteligencia.

Incluso algunos de los más firmes defensores de la seguridad de la IA saben que esto puede salirse de control rápidamente. El problema no es si existe contenido extremista violento en línea. Sí existe, y las plataformas han pasado años tratando de contenerlo. El problema es el salto de identificar propaganda obvia a construir sistemas que infieren una ideología peligrosa a partir de fragmentos de discurso, asociaciones o vocabulario religioso. Ahí es donde la vigilancia legítima puede confundirse con el perfilamiento digital.

Europa se está convirtiendo en un campo de batalla clave. Bajo la Ley de Servicios Digitales de la UE, las principales plataformas enfrentan presión para actuar de manera más agresiva contra el material ilegal y dañino, incluido el contenido terrorista. Al mismo tiempo, los grupos de derechos humanos advierten que la automatización agresiva puede eliminar el discurso legal y sepultar las apelaciones bajo la burocracia. En Gran Bretaña, donde la política contra el extremismo ha estado muy politizada, los grupos de libertades civiles han pasado años desafiando los excesos en programas diseñados para detectar signos de radicalización. Ahora la IA amenaza con potenciar esos mismos instintos con menos transparencia y a mayor escala.

Y luego está el problema de la internet abierta. La IA generativa ha facilitado la producción de propaganda en múltiples idiomas, la clonación de símbolos, la remezcla de discursos y la inundación de redes con material persuasivo a bajo costo. Europol advirtió en 2023 que la IA generativa podría apoyar operaciones criminales y extremistas al hacer que el reclutamiento y la propaganda sean más escalables. Esa advertencia importa. La amenaza es real. Pero es precisamente por eso que el pánico es tan peligroso. Una amenaza real puede usarse para justificar herramientas deficientes, vigilancia amplia y asociaciones secretas entre gobiernos y empresas tecnológicas que operan con poca rendición de cuentas públicas.

Ahí es donde empiezan a surgir las teorías de conspiración, que prosperan porque las instituciones las alimentan. Cuando los gobiernos se niegan a explicar cómo los sistemas marcan a los usuarios, cuando las plataformas se esconden detrás de un lenguaje vago de seguridad y cuando personas inocentes pierden sus cuentas o enfrentan escrutinio sin un remedio claro, el vacío se llena de rumores. La gente empieza a creer que la vigilan por las palabras con las que reza, la historia que discute o la política que critica. A veces esos miedos son exagerados. A veces no lo son. El punto es simple: la opacidad genera sospecha, y la IA hace que el poder opaco sea aún más difícil de desafiar.

La defensa favorita de la industria es que la revisión humana sigue siendo parte del proceso. Eso suena tranquilizador hasta que se mira la escala. Miles de millones de publicaciones se mueven por las principales plataformas. Los filtros automatizados hacen el primer corte. Los sistemas de clasificación evalúan el riesgo. Los revisores trabajan bajo presión, a menudo con un conocimiento local limitado y poco tiempo. Una vez que un sistema de IA etiqueta algo como peligroso, esa etiqueta puede influir en cada decisión posterior. La supervisión humana en estos procesos suele ser menos una salvaguarda que un sello de goma puesto bajo presión.

Nada de esto significa que las empresas tecnológicas deban abandonar los esfuerzos para detener la violencia extremista real en línea. Eso sería absurdo. La propaganda del Estado Islámico, los manuales de ataque y las campañas de reclutamiento organizadas han utilizado las plataformas digitales de manera efectiva en el pasado, y las fuerzas del orden en Europa, Asia y Medio Oriente han documentado cómo las redes encriptadas y los ecosistemas de medios en línea pueden ayudar a grupos violentos. La amenaza no es inventada. El problema es que las empresas y los gobiernos actúan como si una detección más rápida significara automáticamente una detección más inteligente. Y no es así.

El camino más inteligente es más difícil y menos glamoroso. Implica promesas más modestas. Mejor experiencia en idiomas. Auditorías independientes. Informes públicos de errores. Sistemas de apelación claros. Reglas estrictas contra la inferencia de intenciones violentas basándose únicamente en la religión. Significa admitir que un modelo no puede resolver de manera fiable la ambigüedad política, religiosa y cultural a gran escala solo porque el panel de un proveedor se ponga en rojo.

A la industria de la IA le encanta hablar de alineación. Aquí hay una prueba real. Si estos sistemas no pueden distinguir la fe del fanatismo, el periodismo de la propaganda o la disidencia del peligro, entonces no nos están haciendo más seguros. Están automatizando uno de los fracasos más antiguos de la política moderna: tratar a comunidades enteras como un problema que debe ser gestionado. Y una vez que esa lógica está integrada en el código, se mueve rápido, se esconde bien y es brutalmente difícil de deshacer.