Lutte contre l'extrémisme : la guerre de l'IA devient dangereuse

Dans toute l'industrie de la tech, des entreprises vendent des systèmes d'IA qui promettent de détecter la propagande terroriste, les menaces violentes et les schémas de radicalisation à la vitesse de la machine. Les gouvernements les veulent. Les plateformes en ont besoin. Les investisseurs entendent le discours et y voient une mine d'or. L'argumentaire de vente est toujours le même. La machine est plus rapide que les humains. La machine peut voir des schémas que les humains ratent. La machine peut arrêter le danger avant qu'il ne se propage. Cela semble propre, moderne et inévitable.

Mais une fois que ces systèmes sont confrontés au monde réel, l'histoire devient plus sombre. La langue n'est pas des mathématiques. La religion n'est pas une scène de crime. La colère politique n'est pas la même chose qu'une intention violente. Pourtant, les outils de modération par IA ne cessent de brouiller ces lignes, surtout lorsque l'arabe, l'ourdou et d'autres langues très surveillées entrent en jeu. Les chercheurs nous avertissent depuis des années. Human Rights Watch, Access Now et plusieurs équipes universitaires ont documenté des erreurs répétées dans la modération automatisée liée aux conflits, à l'islam et au discours politique. En clair, les machines prennent des décisions graves dans des domaines où le contexte est essentiel et la précision souvent douteuse.

Les preuves ne sont pas théoriques. En 2021, le propre Conseil de surveillance de Meta a déclaré que l'entreprise avait supprimé à tort des contenus documentant des abus au Moyen-Orient. Ses systèmes appliquaient des règles trop strictes sur les contenus en langue arabe. En période de conflit, ce schéma est devenu terriblement familier. Des publications sont retirées. Des comptes sont gelés. Les journalistes, les militants et les utilisateurs ordinaires se retrouvent à crier dans le vide, tandis que les plateformes insistent sur le fait qu'elles protègent le public. Parfois, elles bloquent de la propagande. Parfois, elles écrasent simplement le contexte.

C'est le danger principal du nouveau marché de la sécurité par l'IA. Elle est vendue comme un bouclier contre le terrorisme, mais en pratique, elle se comporte souvent comme un outil grossier. Une phrase, une image, un extrait de sermon, une discussion historique, une publication pleine de chagrin après une attaque : un système peut traiter tout cela comme des variations de la même menace. La machine ne comprend pas le deuil. Elle ne saisit pas la satire. Elle ne sait pas si un utilisateur fait l'éloge de la violence, la condamne ou la documente. Elle prédit en se basant sur des schémas. Et des schémas construits sur des années de données biaisées peuvent devenir un soupçon automatisé.

Ce n'est pas de la paranoïa. C'est ainsi que fonctionne l'apprentissage automatique. Les modèles apprennent à partir d'étiquettes passées, et ces étiquettes reflètent des jugements humains, des priorités institutionnelles et des pressions politiques. Si les équipes de modération se sont historiquement concentrées plus lourdement sur certaines régions, langues ou marqueurs religieux, alors le modèle entraîné sur cet historique absorbera ces schémas. Des chercheurs d'institutions comme Stanford et NYU ont montré à plusieurs reprises que les systèmes de modération de contenu peuvent avoir des performances inégales selon les langues et les contextes culturels. L'anglais bénéficie des données d'entraînement les plus riches, du plus grand nombre d'ajustements politiques et de la plus grande attention du public. Les autres se contentent souvent des restes.

Ajoutez à cela le marché de l'antiterrorisme, où la peur motive les achats et où la nuance est la première victime. C'est là que les vendeurs promettent d'identifier les parcours de radicalisation, les liens entre réseaux et les récits à haut risque avant que les analystes humains ne puissent les repérer. L'argumentaire semble irrésistible après chaque attentat majeur. Aucun ministre ou maire ne veut être celui qui a dit non à un outil vendu comme un moyen de prévention. Mais les promesses de prédiction dans ce domaine méritent un grand scepticisme. L'histoire de la technologie de sécurité est jonchée de produits qui ont trop promis et n'ont pas tenu leurs promesses, surtout lorsque les vendeurs présentaient un simple tri de données comme une avancée majeure du renseignement.

Même certains des plus fervents partisans de la sécurité de l'IA savent que la situation peut vite dégénérer. Le problème n'est pas de savoir si des contenus extrémistes violents existent en ligne. Ils existent, et les plateformes tentent de les contenir depuis des années. Le problème est le passage de l'identification de la propagande évidente à la création de systèmes qui déduisent une idéologie dangereuse à partir de fragments de discours, d'associations ou de vocabulaire religieux. C'est là que le travail légitime de la police peut se transformer en profilage numérique.

L'Europe devient un champ de bataille clé. Dans le cadre du Digital Services Act de l'UE, les grandes plateformes sont poussées à agir plus agressivement contre les contenus illégaux et préjudiciables, y compris le contenu terroriste. En même temps, les groupes de défense des droits avertissent qu'une automatisation agressive peut effacer des discours légitimes et noyer les recours sous la bureaucratie. En Grande-Bretagne, où la politique de lutte contre l'extrémisme est depuis longtemps politiquement chargée, les associations de défense des libertés civiles contestent depuis des années les dérives des programmes censés repérer les signes de radicalisation. L'IA menace maintenant de surmultiplier les mêmes réflexes avec moins de transparence et à plus grande échelle.

Puis il y a le problème de l'Internet ouvert. L'IA générative a facilité la production de propagande en plusieurs langues, le clonage de symboles, le remixage de discours et l'inondation des réseaux avec du matériel persuasif à faible coût. Europol a averti en 2023 que l'IA générative pourrait soutenir des opérations criminelles et extrémistes en rendant le recrutement et la propagande plus faciles à déployer. Cet avertissement est important. La menace est réelle. Mais c'est précisément pourquoi la panique est si dangereuse. Une menace réelle peut être utilisée pour justifier des outils bâclés, une surveillance généralisée et des partenariats secrets entre gouvernements et entreprises technologiques qui opèrent avec peu de contrôle public.

C'est là que les discours complotistes commencent à s'infiltrer, et ils prospèrent parce que les institutions les nourrissent. Quand les gouvernements refusent d'expliquer comment les systèmes signalent les utilisateurs, quand les plateformes se cachent derrière un vague langage sur la sécurité, et quand des innocents perdent leurs comptes ou font l'objet d'une surveillance sans recours clair, le vide est comblé par la rumeur. Les gens commencent à croire qu'ils sont surveillés pour les mots de leurs prières, l'histoire dont ils discutent ou la politique qu'ils critiquent. Parfois, ces craintes sont exagérées. Parfois, elles ne le sont pas. Le point est simple : l'opacité engendre la méfiance, et l'IA rend un pouvoir opaque encore plus difficile à contester.

La défense favorite de l'industrie est que la vérification humaine reste dans la boucle. Cela semble rassurant jusqu'à ce que l'on regarde l'échelle. Des milliards de publications circulent sur les grandes plateformes. Des filtres automatisés font le premier tri. Des systèmes de classement évaluent le risque. Les modérateurs travaillent sous pression, souvent avec une connaissance locale limitée et peu de temps. Une fois qu'un système d'IA a marqué quelque chose comme dangereux, cette étiquette peut influencer toutes les décisions ultérieures. Dans ces processus, la supervision humaine est souvent moins une garantie qu'une simple formalité, validée sous pression.

Tout cela ne signifie pas que les entreprises technologiques devraient abandonner leurs efforts pour arrêter la vraie violence extrémiste en ligne. Ce serait absurde. La propagande de l'État islamique, les manuels d'attaques et les campagnes de recrutement organisées ont utilisé efficacement les plateformes numériques par le passé. Les forces de l'ordre en Europe, en Asie et au Moyen-Orient ont documenté comment les réseaux cryptés et les écosystèmes médiatiques en ligne peuvent aider les groupes violents. La menace n'est pas inventée. Le problème est que les entreprises et les gouvernements agissent comme si une détection plus rapide signifiait automatiquement une détection plus intelligente. Ce n'est pas le cas.

La voie la plus intelligente est plus difficile et moins glamour. Elle implique des promesses plus modestes. Une meilleure expertise linguistique. Des audits indépendants. Des signalements publics d'erreurs. Des systèmes de recours clairs. Des règles strictes interdisant de déduire une intention violente de la seule religion. Cela signifie admettre qu'un modèle ne peut pas résoudre de manière fiable l'ambiguïté politique, religieuse et culturelle à grande échelle, juste parce qu'un voyant rouge s'allume sur un tableau de bord.

Le secteur de l'IA adore parler d'alignement. Voici un véritable test. Si ces systèmes ne peuvent pas distinguer la foi du fanatisme, le reportage de la propagande, ou la contestation du danger, alors ils ne nous rendent pas plus sûrs. Ils automatisent l'un des plus vieux échecs de la politique moderne : traiter des communautés entières comme un problème à gérer. Et une fois que cette logique est inscrite dans le code, elle se propage vite, se cache bien et est extrêmement difficile à défaire.