Quand la modération sur les réseaux sociaux renforce la discrimination

URBANIA et la websérie Je ne suis pas un robot, qui raconte l’histoire d’une modératrice Web, s’unissent pour aborder les enjeux de la modération de contenu sur les réseaux sociaux.

Tout se trouve sur Internet, le meilleur comme le pire. Bien que la technologie ait rendu notre vie plus facile, elle a aussi permis la prolifération d’images violentes ou illégales et de contenus perturbants en tout genre. Heureusement, les grands réseaux sociaux ont à leur service une armée de modérateurs et de modératrices et ont recours à des algorithmes complexes qui font rempart à l’horreur.

Enfin, ça, c’est la version officielle. Malheureusement, ce n’est pas si simple.

En réalité, la modération des contenus offensants est une affaire complexe et, surtout, une affaire de profits. Plutôt que de protéger les groupes qui sont le plus victimes de cyberviolence, on se retrouve plutôt avec des mécanismes de modération qui désavantagent les plus vulnérables. Comment un processus censé être neutre en est-il arrivé là ? On en a discuté avec Thibault Grison, doctorant en sciences de l’information et de la communication à la Sorbonne Université, à Paris.

Ce qui ressort d’abord de l’étude du fonctionnement des Facebook, Instagram, TikTok et autres, c’est qu’on ne sait pas grand-chose avec certitude. « Ces réseaux sont de véritables boîtes noires. Donc tout ce qu’on sait est hypothétique ou provient de fuites », rappelle Thibault Grison.

Chaque réseau social possède sa propre charte, appliquée différemment selon les lois de chaque État. Facebook et Instagram visent un contenu plutôt familial, allant jusqu’à censurer des œuvres d’art où il aurait fallu cacher un sein qu’on ne saurait voir. Sur Twitter, on est plus tolérant. Sur TikTok, toute vidéo jugée trop militante et éloignée de sa marque Good vibes only risque de se retrouver dans les limbes.

Pour faire appliquer ces chartes de bonne cyberconduite, il existe deux types de modération : celle qui est effectuée en amont par un algorithme – qui bloque un contenu avant même sa publication ou qui le suggère moins que d’autres aux internautes –, et celle qui est faite par des humains.

Ces employé.e.s de sociétés sous-traitantes (ou même doublement sous-traitantes) qui travaillent pour les grands réseaux sociaux révisent le contenu signalé par les utilisateurs et utilisatrices. Ces « travailleurs et travailleuses du clic » exercent un métier souvent mal payé aux conditions déshumanisantes. Jour après jour, iels doivent visionner des contenus traumatisants, le plus vite possible et sans faire d’erreurs, en ayant seulement de courts moments de pause, chronométrés à la seconde près. Les contrats de non-divulgation très sévères qu’iels doivent signer les empêchent de parler ouvertement des horreurs qu’iels modèrent au quotidien.

Ce genre d’emploi est généralement occupé par les personnes plus marginalisées de la société, notamment les femmes et les personnes de couleur, explique Thibault Grison : « On se retrouve dans une situation où les personnes les plus visées par la cyberhaine ont la responsabilité de signaler et de modérer ce type de contenu. Pas juste les modérateurs, mais aussi les militants, qui doivent passer leur temps à signaler des contenus haineux. »

Est-ce le prix à payer pour avoir une modération efficace ? Pour ça, il faudrait d’abord qu’elle le soit vraiment.

Les chartes de bonne conduite des réseaux sociaux comme Facebook ou Instagram affirment viser la bonne tenue des échanges, la protection de la liberté d’expression et l’inclusion des personnes minoritaires. « Déjà là, il y a un parti pris qui est assumé, on ne se réclame pas d’une neutralité quelconque », souligne Thibault Grison. Malgré cela, ses recherches l’ont amené à observer une modération à deux vitesses dont souffrent particulièrement ces minorités qu’on dit vouloir inclure.

Est-ce là une preuve de pure hypocrisie de la part de ces entreprises? Comme c’est le cas dans toute recherche, il faut nuancer l’interprétation des données, précise-t-il : « Il ne faut pas oublier que ce sont des sociétés dont le but est avant tout de générer des profits. Pour cela, il faut des clics. Donc, ce sont d’abord les contenus qui génèrent les plus d’interactions qui seront mis de l’avant par les algorithmes. »

Cette tendance vient brouiller les cartes lorsqu’il est question de modérer. Thibault Grison utilise l’exemple du mot « lesbienne » pour illustrer les angles morts de la modération : « Lorsqu’on tape ce mot dans la barre de recherche, les 10 premières pages de résultats, c’est de la pornographie, parce que ces contenus qui ciblent les hommes hétéros génèrent énormément de profits. » Lorsqu’on doit modérer un contenu où le mot « lesbienne » est présent, on le traite d’emblée comme étant pornographique, même lorsqu’il ne l’est pas.

Même son de cloche chez la chercheuse Safyia Umoja Noble, qui, en cherchant les mots-clés « black girls », s’est fait bombarder d’images stéréotypées de femmes de ménage et de représentations coloniales.

Lorsqu’on ne porte pas une attention particulière à ce genre d’angles morts, les préjugés de la société sont reproduits dans le processus de modération. Ce n’est pas le genre de problème qu’on peut régler par l’automatisation, selon le doctorant : « Il existe des préjugés à même la modération parce qu’elle est mise en place par des équipes qui manquent cruellement de diversité. Par exemple, les systèmes d’intelligence artificielle qui filtrent le contenu avant qu’il se rende aux modérateurs ont été pensés par des équipes majoritairement masculines, blanches. Il y a des oublis, parce que la réalité dont il est question n’en est pas une qui les touche. »

Un de ces oublis est la réappropriation d’insultes par des groupes marginalisés. « Lorsque des militants et des militantes utilisent des mots comme “queer”, “gouine” ou le “N-word” pour dénoncer la violence dont ils sont victimes, on les censure comme s’ils avaient un discours haineux alors que c’est tout le contraire. C’est une sorte de double peine. » Les groupes haineux tirent souvent avantage de cette tendance et signalent en masse les comptes des gens qui les dénoncent.

Une des solutions à envisager, selon Thibault Grison ? Étudier les signalements selon le contexte, selon qui publie et qui signale. « On se rend bien compte qu’en voulant traiter tout le monde de la même manière, on ne fait que recréer des inégalités », résume-t-il, en suggérant également la création d’outils plus adaptés pour réduire la charge mentale des modérateurs et des modératrices et les erreurs des algorithmes.

Même si on a l’impression que les contenus haineux se multiplient sur les réseaux sociaux, le doctorant met en garde contre la tentation de tout mettre sur le dos du Web : « Cette haine existait bien avant Internet et elle va continuer d’exister si on ne la combat pas ailleurs. »