Quand les algorithmes ne reflètent pas la réalité

Quand les algorithmes ne reflètent pas la réalité

On imagine que les machines sont objectives. Eh bien, sachez-le, c’est une fake news. Les algorithmes se construisent sur des décisions passées, des décisions pas toujours très inclusives. Aujourd’hui encore, l’intelligence artificielle perpétue des stéréotypes qui nuisent au progrès social. Comment agir contre ? Explications en quatre questions.

Par Léa Taïeb

Qu’est-ce qu’un algorithme qui perpétue les stéréotypes sexistes ? 

Pour commencer cet article, donnons l’exemple de Amazon. En 2018, cette entreprise fait appel à une intelligence artificielle pour gérer ses recrutements (sélectionner le ou la meilleur.e candidat.e pour un poste vacant). Résultat : l’IA privilégie les profils masculins sur les postes “techniques”, mieux rémunérés et plus prestigieux professionnellement. Pour prendre ses décisions, l’algorithme s’est inspiré des recrutements passés sans corriger les biais sexistes qui existaient dans le système de recrutement du géant américain. Conséquence : les femmes en étant discriminées à l’embauche étaient destinées à occuper des postes mal payés et peu stimulants. Plus généralement, l’IA en associant des compétences, des traits, des caractéristiques à un genre (plutôt qu’à un autre) limite l’accès des femmes à l’emploi, aux études, au crédit et à bien d’autres droits. 

Comment une intelligence artificielle peut-elle prendre des décisions sexistes ?  

L’intelligence artificielle entretient (à ses dépens) les stéréotypes sexistes. Pourquoi cela ? Parce qu’elle apprend à partir de données, comportements, récurrences du passé. Or, ces éléments (qui sont à l’image de la société) ne sont pas irréprochables : ils sont même bourrés de biais sexistes et racistes (pour n’en citer que quelques- uns). L’IA – qui n’a ni créativité, ni morale – reproduit en prenant des décisions discriminantes. “Le problème c’est le système et non l’IA qui imite et apprend en fonction des occurrences”, rappelle Daphné Marnat, la fondatrice de Unbias, un outil d’IA qui corrige les biais sexistes dans les algorithmes. 

En plus de ce constat, les personnes qui codent les algorithmes correspondent toutes ou presque au même profil sociologique : un homme non issu de la diversité entouré d’autres hommes non issus de la diversité. Selon l’UNESCO, 88% des personnes qui conçoivent les algorithmes sont des hommes. Dans ce contexte, l’intelligence artificielle se construit selon les représentations de son concepteur, des représentations qui peuvent être discriminantes. « Le manque de diversité (l’absence de femmes, de personnes LGBTQ+ ou de personnes noires) dans ce milieu ne permet pas un renouvellement des représentations, des données, des corpus d’apprentissage sur lesquels se base un algorithme”, observe la fondatrice de Unbias. Résultat : la société évolue, les programmes informatiques, eux, restent fidèles à un monde rétrograde. 

Les programmeurs ne sont pas forcément conscients des biais qu’ils façonnent. Ils ne sont pas non plus capables de les repérer pour lutter contre. “Ils ne sont pas formés pour avoir un impact sur la société et militer pour une monde plus égalitaire”, déplore Daphné Marnat. 

Comment agir pour que les algorithmes soient responsables ? 

Les équipes de programmation doivent se montrer plus égalitaires, plus inclusives, plus à l’image de la diversité sociale. Rappelons que les femmes occupent seulement 33% des emplois du numérique. “On doit permettre à des femmes de se projeter dans ces métiers, leur rappeler qu’elles auront un impact sur le non sexisme des algorithmes”, encourage Emmanuelle Larroque, fondatrice de Social Builder, une entreprise qui accompagne les femmes vers les métiers du numérique. 

En plus de modifier la composition des équipes, on doit former celles et ceux qui codent à lutter contre le sexisme. “Les scientifiques ne sont pas tellement sensibilisé.e.s aux études de genre. Donc, pour composer des algorithmes socialement responsables, ils pourraient intégrer à leur groupe de travail des chercheuses et chercheurs engagé.e.s sur les questions de diversité et de représentativité”, explique Aude Bernheim docteure en sciences et cofondatrice de l’association féministe WAX Science. C’est le cas chez Unbias qui emploie des personnes issues de formations en sciences sociales (dont des linguistes, philologues, sociologues). La docteure rappelle qu’il est également nécessaire de former les personnes qui utilisent les algorithmes pour qu’elles anticipent et préviennent les risques de sexisme ou de racisme. 

“Nous devrions tester les potentielles conséquences d’une IA avant sa mise sur le marché comme on peut le faire avec les voitures. Avant la commercialisation, une voiture passe des tests pour s’assurer que son utilisation n’est pas dangereuse”, évoque Emmanuelle Larroque, fondatrice de Social Builder. Selon l’entrepreneuse, un organisme devrait être chargé de contrôler et d’auditer bases de données comme algorithmes. “C’est à cette organisation de travailler dans le sens d’une IA plus éthique”, estime-t-elle. 

Quel effet un algorithme égalitaire aurait sur la société ? 

Les algorithmes débarrassés de tous leurs biais (qui reposeraient sur des données responsables et inclusives) pourraient devenir des alliés de la lutte contre les discriminations, contre la norme. Les chercheuses interviewées imaginent des IA correctrices des inégalités, capables de rectifier les stéréotypes sexistes ancrés dans la société. “On pourrait imaginer des bot qui créent des pages Wikipédia de femmes pour rééquilibrer l’encyclopédie, un Google Translate qui traduit en langage épicène (non genré), des algorithmes qui mesurent le temps de parole des femmes par rapport à celui des hommes et alertent en cas d’inégalité”, suggère Aude Bernheim, docteure en science. 

En matière de lutte contre les discriminations à l’embauche, le rêve est déjà réalité grâce à la start-up Atipica. Son IA a été conçue pour prédire l’origine et le genre des candidat.e.s et proposer une sélection ultra-diversifiée (et pro-égalité des chances) de profils à l’entreprise qui recrute.