Technologies et parité : comment faire une IA non discriminatoire ?
À mesure que l’intelligence artificielle monte en puissance et se diffuse dans nos sociétés, les enjeux éthiques qui lui sont attachés deviennent de plus en plus pressants. A l’occasion de la journée des droits de la femme 2022 dédiée à la lutte contre les biais, deux experts Thales reviennent sur les problèmes spécifiques que pose l’IA en termes de parité et évoquent les méthodes suivies pour y faire face.
Les algorithmes que nous utilisons au quotidien auraient-ils un problème avec les femmes ? C’est ce que pourraient laisser penser les déboires qu’ont connus récemment plusieurs géants de la tech. Amazon, par exemple, qui, il y a quelques années, s’est vu contraint de fermer un programme d’intelligence artificielle de sa conception, destiné à automatiser le processus de recrutement de ses équipes digitales… Et qui avait acquis, de lui-même, la fâcheuse manie de sous-noter les CV féminins.
Même genre de mésaventure chez LinkedIn, qui avait pourtant veillé à ce que ses algorithmes de recommandation du meilleur candidat pour un emploi donné ne tiennent pas compte du genre - pas plus que de l’âge, ou de l’origine ethnique - de la personne, afin, justement, d’éviter les biais. L’IA avait fini par trouver le moyen de réintroduire ce critère, en analysant le comportement des candidats (les hommes se montraient plus susceptibles de postuler à des emplois nécessitant une expérience professionnelle supérieure à leurs qualifications, tandis que les femmes limitaient leurs ambitions à des postes correspondant précisément à leur savoir-faire). Conséquence: la plateforme proposait, à compétences égales, des jobs plus qualifiés aux hommes qu’aux femmes… Poussant l’entreprise californienne à développer un nouveau programme afin de compenser les errements de sa première IA.
Autre exemple édifiant, du côté des outils de traduction automatique, qui traduisent systématiquement depuis l’anglais (langue non genrée) “a nurse” par “une infirmière”, et “a doctor” par “un docteur”. Ou enfin, sur des moteurs de recherche, qui face à la requête “écolier” proposeront d’innocentes images de garçonnets sur les bancs de l’école, tandis que la recherche “écolière” renverra, elle, à des jeunes filles affublées de tenues hyper-sexualisées.
Alors, sexistes, nos algorithmes ? En cette journée internationale du droit des femmes, nous avons posé la question à Catherine Roy, design leader en design stratégique au Design Center Québec, et à Christophe Muratet, directeur stratégie, marketing et produit émergeant au centre de recherche et innovation en intelligence artificielle (IA) de Thales en Amérique du Nord. Ils nous expliquent pourquoi l’intelligence artificielle peut tout aussi bien, selon l’usage qu’on en fait, porter la guerre des genres sur le terrain du virtuel… Ou bien s’avérer un merveilleux outil pour promouvoir la parité au sein de nos sociétés.
Comment définiriez-vous un biais algorithmique ?
Catherine Roy. En psychologie cognitive, le terme de biais renvoie à une opinion préconçue, à une déviation de la pensée qui va prendre une direction à l’exclusion d’une autre, l’empêchant de percevoir la réalité dans sa totalité, et en donnant une vision tronquée.
Parce qu’ils sont conçus par des humains, les algorithmes vont aussi, dans certains cas, développer ce genre d’”angles morts”.
Une des meilleures illustrations de ce processus d’aveuglement de l’IA reste pour moi l’exemple de Tay, un chat bot conçu par Microsoft et mis en place en 2016 sur Twitter. À force de converser avec des utilisateurs abusant de sa crédulité, celui-ci s’était mis à tenir des propos sexistes et racistes, obligeant ses créateurs à le débrancher le jour même.
Christophe Muratet. La notion d’intelligence artificielle a tendance à déchaîner les passions, parce qu’elle stimule notre imaginaire qui s’est construit sur des œuvres de science-fiction, sur des films montrant des machines capables d’émotion, des robots confrontés à des dilemmes moraux… Or, pour réfléchir sereinement à la question des “biais algorithmiques”, il faut s’efforcer au contraire de se débarrasser de cette vision fantasmée de l’IA. Et se rappeler que cette dernière n’est après tout que le miroir de notre propre société. L’intelligence artificielle, au mieux outil de prédiction, n’est utile qu’en tant qu’elle permet d'améliorer les décisions. Lorsqu’un algorithme développe un biais, il ne le fait pas de sa propre volonté, mais parce que, en amont, dans sa programmation, un certain nombre de facteurs l’ont poussé dans cette direction. Mais elle n'est pas le seul élément de la prise de décision; l'autre élément clé est le jugement humain.
Quels sont justement les facteurs permettant d’expliquer qu’un algorithme développe un comportement sexiste ?
CM. Il y a deux principales sources à l’origine des biais dont peut être victime une intelligence artificielle. La première concerne la qualité et la diversité des données d’apprentissage. Si ces données sont tronquées, incomplètes, orientées, bref, biaisées, il y a de fortes chances que l’enseignement qu’en tirera l’IA soit lui-même biaisé. La seconde source d’erreur vient des personnes qui conçoivent les modèles mathématiques, ou encore algorithmes, qui offrent des prédictions et qui peuvent, sans s’en rendre compte, avoir une vision biaisée du sujet qu’ils cherchent à traiter.
La sous-représentation des femmes et des personnes de couleur dans la technologie, particulièrement la science des données, et le sous-échantillonnage de ces groupes dans les données qui façonnent l'IA, ont conduit à la création de technologies optimisées pour une petite partie du monde. Dans ces conditions, comment s’étonner que certains logiciels d'analyse faciale, souvent entraînés sur des images d’hommes à la peau claire, ne puissent pas détecter correctement un visage féminin, à fortiori à la peau foncée.
Une autre source de biais se situe sans doute derrière la course économique à laquelle se livrent les géants du numérique pour dominer notre attention et ainsi les marchés de la publicité ou du commerce en ligne. À mon sens, la meilleure réponse à la question des préjugés dans les modèles d'apprentissage automatique consiste à construire des modèles les plus transparents possibles. Or, on peut penser que l’efficacité des algorithmes de ces distributeurs massifs d’IA grand public repose en partie sur des mécanismes qui ont une influence négative sur les normes de la féminité. Et bien sûr, la performance de ces systèmes n’incite pas leurs concepteurs à les rendre moins opaques…
CR. Ce serait ridicule de penser que les programmateurs sont, par nature, des personnes mal intentionnées qui conçoivent sciemment des algorithmes misogynes ! Dans la très grande majorité des cas, ils ne se rendent tout simplement pas compte du risque d’émergence d’un biais dans leurs calculs ou dans la conception. Nous avons récemment été confrontés à une situation de ce type chez Thales, en travaillant sur des solutions d’assistance vocale destinées à des cockpits d’avion. On s’est rendus compte en faisant des tests que la plupart des assistants vocaux disponibles sur le marché montraient une efficacité moindre lorsqu’ils étaient utilisés par des pilotes femmes. Il faut dire qu’il s’agit d’un métier constitué à 95% d’hommes, et que les données utilisées pour concevoir ces logiciels étaient donc, nécessairement, biaisées.
L’intelligence artificielle représente-t-elle selon vous une menace pour l’égalité hommes femmes?
CM. Tout dépend de la façon dont on l’utilise, et du cadre qu’on lui donne ! On a tendance à avoir une vision très manichéenne de l’IA. Soit on la présente comme un épouvantail, qui condenserait en elle tous les défauts de nos sociétés. Soit on y voit une baguette magique, capable de résoudre tous nos problèmes. La vérité est à chercher entre ces extrêmes. Si l’on prend l’exemple de la formation scolaire à l’heure du numérique, il y a autant de raisons de s’inquiéter que de se réjouir de la place de plus en plus importante des outils informatiques. Selon moi, les algorithmes ont un rôle très positif à jouer pour tout ce qui concerne l’interface entre l’élève et l’enseignant, et l’augmentation des moyens dont dispose le professeur pour faciliter l’acquisition des connaissances. Mais je regarde avec beaucoup plus de circonspection l’émergence d’outils de recommandation permettant d’optimiser l’orientation des élèves, parfois dès les premiers mois de la scolarité. Imaginer qu’un algorithme va par exemple, diriger une jeune fille qui aurait pu développer, au fil de sa scolarité, un intérêt pour l’ingénierie mécanique vers d’autres formations sous prétexte que les données historiques indiquent que les femmes, sous représentées, ont moins de chance de succès dans la mécanique, voilà une dérive qui me semble dangereuse.
CR. Il ne faut jamais oublier que l’IA ne fait que reproduire, dans le monde du numérique, les travers que l’on trouve d’abord dans le monde réel. Par exemple, si la plupart des chatbots ont aujourd’hui des voix féminines, c’est parce qu’ils ont été conçus selon l’idée stéréotypée qu’une voix de femme serait naturellement plus rassurante, protectrice. Pour que les algorithmes soient moins biaisés à l’égard des femmes, il faut donc d’abord que la société évolue vers la parité, et s’assurer d’équipes de travail inclusives et avec de la diversité. Ce qui me semble en revanche particulièrement intéressant, c’est l’écho qu’ont les biais algorithmiques sur le grand public. Les exemples de discrimination à l’embauche ont offusqué beaucoup de monde, et poussé les compagnies victimes de ces biais à rapidement rectifier le tir. En ce sens, je pense que ces “scandales algorithmiques” peuvent servir d’étendard à ceux qui veulent faire avancer la parité.
La charte éthique du numérique établie par Thales en 2019, et rendue publique en 2021, entend notamment mettre l’IA au service d’un monde plus inclusif. Comment, concrètement, s’assurer que cette ambition ne soit pas perturbée par les biais algorithmiques?
CR. En mettant l’utilisateur au cœur de la conception de nos produits ! Pour cela, nous avons renforcé notre démarche de design universel, avec l’ambition de créer des solutions et des services accessibles à tous, compréhensibles par tout le monde, et qui tiennent compte de la diversité des populations auxquels ils s’adressent. Tout cela passe par un travail de co-construction entre les métiers scientifiques, les ingénieurs et les designers. Le but n’est ainsi pas simplement de trouver une solution à un problème, mais de s’assurer que cette solution fonctionne dans un contexte donné, en allant sur le terrain pour s’en assurer. Avec une telle démarche, l’objectif est d’amener la connaissance métier et terrain aux équipes de conception et de déceler les éventuels biais de l’IA en amont, pour y remédier avant de sortir le produit.
CM. Il y a en effet un très fort enjeu sur la façon dont nous co-construisons nos modèles d’apprentissage automatique en amont. En terme de recrutement, d’abord, puisque de plus en plus il s’agit pour nous de s’assurer de la diversité de notre population d’ingénieurs et scientifiques et de compléter la vision mathématique de nos environnements par celle d’autres disciplines, venues notamment des sciences sociales, de l’anthropologie…
En matière de pratiques d’innovation également : l’utilisation croissante de l'intelligence artificielle dans des domaines sensibles, (recrutement, justice pénale, santé…), renforce l’enjeu de construction sociale de la technologie. Ce phénomène souligne l’importance d’impliquer les futurs utilisateurs et contributeurs d’une solution apprenante très tôt dans le processus de développement pour analyser de manière critique les biais injustes qui peuvent être intégrés puis, si l’on n’y prend pas garde, amplifiés par les systèmes d'IA. Paradoxalement, à mesure que les machines deviennent plus performantes en matière de prédiction, le jugement humain devient de plus en plus critique. Je pense, pour illustrer mon propos, à un système d’optimisation de flux de passagers pour les transports en commun, pour lequel nos équipes avaient commencé à développer des algorithmes afin de prédire à l’avance le déplacement des passagers. En analysant les données, et en mettant coude-à-coude designers d’expérience IA et scientifiques des données, on a découvert que certaines d’entre elles pointaient vers des comportements qui pouvaient sembler incohérents. On a décidé de se rendre sur le terrain pour observer ce qui se passait, et ce que la donnée ne permettait pas de voir. Et on a constaté que ces comportements à priori erratiques étaient en fait ceux de femmes qui adoptaient des choix de correspondance non optimaux en temps de trajet mais leur garantissant une place assise en période de grande affluence. À partir de là, on a pu adapter notre solution pour tenir compte de ce critère, qu’un algorithme seul n’aurait jamais pu expliquer, et ainsi développer des expériences de voyage basées sur un système de recommandation réduisant les disparités causées par les préjugés humains. C’est ce qu’on appelle une optimisation d’expérience.
En plus de cette attention portée au développement de confiance, l’autre enjeu essentiel est l’explicabilité. L’approche Thales TrUE AI implique de construire une IA transparente : les utilisateurs doivent pouvoir voir les données utilisées pour arriver à une conclusion et comprendre les résultats. Et puis bien sûr l’IA doit aussi être éthique, respecter les lois et les droits de l’Homme. En suivant ces règles, non seulement les algorithmes éviteront de créer des biais, mais ils permettront aussi de rendre la décision humaine elle-même plus juste et plus transparente.
En savoir plus :
