Les algorithmes peuvent-ils être racistes ?30 novembre 2020

Vous avez sans doute vu la photo de Barack Obama, pixelisée puis reconstruite par un algorithme. Le résultat est assez loin de l’original et de ce qu’un humain pourrait imaginer.

En effet, un humain un minimum informé reconnait immédiatement Barack Obama malgré la piètre qualité de la photo. Est-ce qu’un humain n’ayant jamais vu une photo de Barack Obama serait aussi choqué ? C’est déjà moins sûr. Peut-on dire que l’algorithme est « raciste » ? Non, un algorithme n’a pas de sentiment, pas de concept d’humain, de race, il est juste imparfait, voire faux, en tout cas « biaisé ».

Que sont donc ces biais ?

Les algorithmes ne font que refléter les données qu’on leur a donné pour apprendre. Il faut en général la situation – les données d’entrée, et le résultat, observé si l’on veut découvrir une règle ou « labellisé » si on veut reproduire un comportement humain. Ces données sont rares, et généralement imparfaites, biaisées. Il est très difficile d’avoir des données de qualité et non biaisées. En effet, il faudrait avoir des données représentatives de toutes les conditions, et l’algorithme pourrait alors apprendre et « extrapoler ». Les algorithmes ne savent pas bien faire face à des situations inconnues, en général ça se passe mal.

Un biais classique est par exemple le biais du survivant. Vous connaissez peut-être le cas des avions revenant du combat avec des impacts de balles. Où faut-il blinder les avions ? La première intuition est de les renforcer aux endroits endommagés. En fait, c’est l’inverse qu’il faut faire ; ce sont les endroits non endommagés chez les « survivants » qui devraient être renforcés, un dommage à un autre endroit provoquant la chute de l’avion, qui n’est donc pas pris en compte dans les données d’entrée.

Quand vous entrainez un algorithme de mesure du risque par exemple, il y a de fortes chances que votre historique ne prenne pas en compte les dossiers refusés. En entrainant l’algorithme sur ces données, vous risquez donc de passer à côté d’une classe de risque « évident ».

Ou encore, si vous entrainez votre algorithme pour reproduire des comportements humains passés, vous allez reproduire aussi les erreurs. Par exemple, ce n’est sans doute pas une bonne idée d’entrainer une voiture autonome à respecter un feu rouge en fonction des comportements observés de milliers de conducteurs. Une bonne vielle règle explicite est sans doute plus sure !

Ce sont des biais techniques. Pas de racisme là-dedans, juste des erreurs, plus ou moins manifestes, plus ou moins graves. C’est typiquement ce qu’il s’est passé avec la photo de Barack Obama, avec un algorithme sans doute pas assez bien entrainé.

Les autres biais, plus intéressants, sont les biais éthiques.

Pas d’erreur ici. L’algorithme reflète un monde que nous voulons corriger. Par exemple, si telle ethnie est plus malade qu’une autre, l’algorithme pourra proposer une prime d’assurance maladie supérieure. C’est techniquement juste, mais sans doute ne le voulons nous pas. Il faut donc enlever le critère ethnique dans le calcul de la prime. En revanche il peut être utile de le garder dans le diagnostic médical. C’est une décision éthique, non technique, qui n’a pas grand-chose à voir avec l’Intelligence Artificielle.

Enlever une variable d’entrée est simple, et l’avantage d’un algorithme, c’est qu’il ne ment pas. Même s’il peut être difficile à comprendre, Il existe des méthodes dites d’explicabilité, qui permettent de le faire parler, sans risquer d’être inculpé pour torture. Un homme est aussi – voire plus – biaisé qu’un algorithme. Les biais cognitifs sont aujourd’hui célèbres. Ils sont souvent inconscients. Et un humain peut mentir, il avouera rarement qu’il a pris une décision pour de mauvaises raisons.

L’algorithme est plus franc, plus lisible. Il faut juste savoir le faire et corriger calmement les biais, techniques ou éthiques. Ne mélangeons pas tout et arrêtons les gros titres anxiogènes.

Morand Studer

Sources

• https://www.ulyces.co/denis-hadzovic/les-intelligences-artificielles-sont-racistes-voici-pourquoi/
• https://fr.wikipedia.org/wiki/Biais_du_survivant