- antoinemorlighem
Discriminations : IA encore du travail
Dernière mise à jour : 19 nov. 2020
Newsletter Isahit - juillet 2020
À lire aussi sur le site d'isahit
Le mouvement Black Lives Matter, ravivé par la mort tragique de George Floyd, s’est étendu à toute la planète. Ce drame a mis sous un jour cru les discriminations qui minent encore et toujours nos sociétés. De cet examen de conscience que nous devons mener collectivement, la technologie et l’intelligence artificielle en particulier ne sont pas exemptes. Conçues par des humains, elles ont tendance à reproduire leurs préjugés. Cela soulève de nombreuses questions sur la manière dont l’IA est conçue, par qui, et sur les moyens dont nous disposons pour nous assurer de son éthique.
En 2018, Joy Buolamwini, une chercheuse noire du MIT s’étonne qu’un logiciel de reconnaissance faciale avec lequel elle travaille reconnaisse le visage de ses amis mais pas le sien. Quand elle met un masque blanc : l’algorithme l’identifie immédiatement. Une expérience qui la pousse à faire sa thèse sur le sujet.
Après avoir testé les systèmes de reconnaissance faciale d’IBM, Microsoft et Face ++, les résultats sont clairs : ils reconnaissent tous davantage les hommes que les femmes et sont plus précis sur les peaux claires que foncées. Les exemples de discriminations que ce type de problème engendre ne manquent pas :
l’algorithme d’Apple Pay Card accordait un plafond de crédit plus élevé aux hommes qu’aux femmes, malgré des revenus équivalents ;
des logiciels utilisés par la justice américaine pour évaluer le risque de récidive, l’estiment beaucoup plus haut pour les afro-américains ;
en 2016, Tay, une IA de Microsoft lancée sur Twitter pour apprendre de ses échanges avec les internautes a dû être retirée en catastrophe après s’être mis à proférer des tweets racistes et négationnistes.
Humain trop humain
On a trop souvent tendance à concevoir l’IA comme une entité surgie ex-nihilo. Or, elle n’apprend qu’à partir des images et informations qu’on lui fournit. Autrement dit, n’est qu’à l’image de ceux qui la conçoive. À ce titre, comment s’étonner qu’elle aboutisse à des prises de décisions racistes et sexistes, quand les algorithmes qui la composent sont développés à une écrasante majorité par des hommes blancs ? « Les algorithmes ne sont pas dotés de conscience, mais construits par des gens », confirme Mouhamadou Moustapha Cissé, à la tête du premier centre africain de recherche en intelligence artificielle. « Ce sont, en partie, les biais de ces personnes qui se répercutent sur la façon dont les algorithmes fonctionnent ».
Défauts intrinsèques
Dans une Tribune, Nelly Chatue-Diop et Soumia Malinbaum, respectivement Chief data Officer Betclic Group et Vice-présidente Business Development Keyrus pointent trois points de faiblesses plus techniques, dans la manière dont sont conçus ces algorithmes :
Les algorithmes eux-mêmes : la plupart des développeurs d’applications n’utilisent pas d’algorithmes d’apprentissage qu’ils ont personnellement créés sur mesure. En libre accès, ces algorithmes génériques ont en grande majorité été développés par des scientifiques dont la priorité est de valider la précision de leur modèle mathématique et d’éviter le sur-apprentissage, et non de s’assurer de la généralisation en toute équité des modèles créés grâce à ces algorithmes. Ainsi, non seulement aucun de ces algorithmes n’a été conçu avec un objectif explicite de non-discrimination mais, ils ont été développés par une population singulièrement homogène.
Les données d’apprentissage : Le modèle étant construit à partir des données, on comprend la nécessité cruciale de disposer, pour l’apprentissage et la validation du modèle lui-même, de jeux de données conséquents, mais aussi représentatifs de la diversité des situations/cas à traiter.
Les critères de performance : Un modèle est jugé performant lorsque, après la phase d’apprentissage, il traite correctement un pourcentage élevé de nouveaux cas. Des tests pré-opérationnels sont généralement réalisés sur des échantillons globaux qui ne permettent pas de savoir si le modèle discrimine ou pas sur des critères de genre, d’origine ou autres. Ils se concentrent sur l’évaluation de la précision du modèle et jugent si le taux d’erreur est acceptable : aucun autre critère n’est pris en compte.
Prise de conscience
Ces dernières années, une prise de conscience est en cours sur ces sujets :
Dans un rapport publié en décembre 2017, la Cnil recommande de former tous les acteurs du maillon de la chaîne algorithmique à l’éthique, de rendre les sujets transparents et compréhensibles, et de constituer une plateforme nationale d’Éthique.
Le volet éthique tenait également une place importante dans le rapport « AI for humanity » de Cédric Villani remis à Emmanuel Macron en mars 2018.
Fin mai, le défenseur des droits et la Cnil appelaient à une mobilisation collective sur le sujet.
Au mois de juin, le Laboratoire de l’Égalité a dévoilé 30 solutions très concrètes pour lutter contre les dérives discriminantes de l’IA, notamment vis-à-vis des femmes.
Yes we can
Une évolution vers le meilleur est possible. « Constatant des différences stigmatisantes dans les traductions de Google Translate dans certaines langues, Google a fait en sorte de générer des traductions genrées pour toutes les phrases où le modèle d’origine proposait uniquement une version masculine. Les indicateurs mis en place ont permis de mesurer les progrès et de réduire ce biais jusqu’à plus de 90 % dans les traductions du hongrois, du finnois, du persan et du turc vers l’anglais. Le nouveau modèle n’en est que plus pertinent et comprend désormais que dans ces langues « docteur » et « ingénieur » peuvent être féminins ! », se réjouissent Nelly Chatue-Diop et Soumia Malinbaum. Un enjeu plus que jamais majeur, alors que l’IA s’insinue chaque jour un peu plus dans chaque petits interstices de notre quotidien. À nous de la faire à l’image de la société que nous voulons construire.
Isahit : l’éthique à cœur
Ne collaborant quasi exclusivement qu’avec des jeunes femmes noires issues de pays en développement, isahit contribue pleinement au développement d’une IA plus éthique et à l’image de la société dans son ensemble, dans le respect de toute sa diversité. En annotant et supervisant les algorithmes de machine learning pour nos clients, ces femmes travaillent chaque jour à éviter les biais qu’ils pourraient générer. L’enjeu n’est pas qu’éthique car la diversité est une des clés essentielles pour la précision et l’efficacité de l’IA. Très concrètement :
dans le cas de la reconnaissance faciale, une personne d’une certaine ethnie aura plus de facilité à reconnaître une autre personne de cette même ethnie,
dans le secteur alimentaire, un africain saura plus finement identifier les plats ou ingrédients spécifiques à la cuisine africaine,
idem pour ce qui est de l’analyse des déchets.
C’est par la diversité de sa communauté, qu’isahit peut garantir à ses clients des données justes et valides, spécifiques et contextualisées.
« Chez isahit, nous mettons également beaucoup l’accent sur la formation de notre communauté. Notre objectif est d’accompagner ces femmes vers l’accomplissement de leurs objectifs professionnels tout en leur donnant les clés pour prendre toute leur part à la révolution numérique en cours. » Isabelle Mashola, CEO d’isahit