Harcèlement en ligne et IA : le serpent se mord la queue

Credit : Gettyimages

L’Unesco estime que le harcèlement scolaire touchait près de 250 millions de mineurs en 2017, un chiffre qui ne cesse de grimper avec la montée du cyberharcèlement sur les réseaux sociaux. Ces nouvelles formes de menaces qui vivent sur les plateformes touchent les utilisateurs les plus vulnérables en première ligne. Un problème sociétal à haute teneur technologique, qui trouve une réponse toute faite, presque trop simple : l’intelligence artificielle. 

Les réseaux sociaux, terrain fertile du harcèlement

Il y a quelques semaines, Amnesty International publiait un rapport édifiant sur le harcèlement des femmes sur Twitter. L’étude portait sur les centaines de milliers de tweets à des femmes journalistes et politiciennes américaines et britanniques, analysés avec l’aide de plus de 6 000 bénévoles issus de 150 pays. C’est ensuite la startup canadienne Element AI, partenaire du projet, qui a rendu intelligible la masse de données recueillie. La conclusion : plus de 7% des tweets étaient néfastes (agressifs, dégradants, menaçants), si bien que l’ONG considère Twitter comme « un espace où le racisme, la misogynie et l’homophobie prospèrent sans entrave ».

Si certains y voient encore un outil de débat démocratique, les résultats de cette étude du contenu des messages penche en faveur d’une nouvelle forme de censure par la pression sociale : « Alors que Twitter est censé être un espace d’expression et d’échange d’opinions, les femmes y subissent souvent des abus, des menaces et des atteintes à leur vie privée » lit-on sur le site internet de l’ONG. Amnesty International avait pourtant déjà suggéré au réseau social la publication de ses chiffres sur le harcèlement, en vain.

Tirer les leçons, sortir une IA

La responsabilité des réseaux sociaux dans la prolifération des messages de haine est aujourd’hui avérée, entraînant la méfiance des utilisateurs de ces plateformes. Pour y remédier, ces géants du numérique se dotent d’outils à la mesure du problème posé et investissent massivement dans des solutions basées sur l’intelligence artificielle.

A la rentrée 2018, Facebook annonçait l’utilisation d’intelligence artificielle dans la lutte contre les fake news, dans un contexte politique particulièrement tendu. Alors que le réseau compte plus de 2 milliards d’utilisateurs mensuels, la plateforme entend répondre à la méfiance collective en se dotant d’outils lui permettant d’analyser ce qui est publié, notamment sous la forme très utilisée des memes. La solution, dédiée à extraire textes et contextes des images et vidéos de la plateforme, s’appelle Rosetta.

Sur la même lancée, c’est en octobre que le nouveau chef d’orchestre du réseau social Instagram, Adam Mosseri — auparavant en charge du fil d’actualité de Facebook, a annoncé la conception de nouvelles fonctionnalités de lutte contre le cyberharcèlement. Pour identifier les images potentiellement toxiques, Instagram fait aussi appel à l’intelligence artificielle : les images sont reconnues comme telles par un procédé de machine learning puis envoyées aux très nombreux modérateurs du réseau. L’objectif est simple : détecter et supprimer les contenus indésirables en un minimum de temps. Trop simple ?

Cartographier le harcèlement grâce à l’IA

L’équipe Sparks, le laboratoire d’informatique, signaux et systèmes de Sophia Antipolis s’intéresse justement à l’étude des données numériques liées au langage, à travers le projet Creep. Elena Cabrio, maître de conférences à l’université de la Côte d’Azur et membre de l’équipe Creep travaille sur des modèles reliés en réseaux : « Nous développons des outils capables de parcourir les réseaux sociaux et d’analyser les données afin de repérer les messages contenant du cyberharcèlement ou de la haine ». La chercheuse explique au journal du CNRS que les algorithmes couplés à des méthodes d’apprentissage automatique permettent de vérifier si les messages traités correspondent à du contenu agressif. Une solution qui ressemble à celle que proposent elles-mêmes les plateformes de réseaux sociaux, à ceci près qu’il s’agit là d’une recherche publique, ouverte et non tenue par des intérêts économiques. Alors qu’il devait prendre fin en 2018, le projet Creep, toujours aussi actuel, a finalement été reconduit pour toute l’année 2019.

Les récents travaux de recherche nous montrent donc que dans la lutte contre le harcèlement en ligne, L’IA pourrait se révéler être une alliée efficace. Pourtant, alors que les réseaux sociaux sont minés de faux comptes alimentés par des bots, on comprend que ces innovations technologiques — IA, machine learning et apprentissage du langage — sont les pompiers-pyromanes d’un problème loin d’être résolu.