IBM cesse de fournir la reconnaissance faciale aux forces de police. À la suite des manifestations de Black Lives Matter, le géant de l'informatique pense que cette technologie peut être potentiellement abusée. À juste titre, semble-t-il.
"IBM ne proposera plus de logiciel de reconnaissance faciale ou d'analyse. Il est temps d'engager un dialogue national sur l'opportunité d'utiliser et d'appliquer cette technologie par les forces de l'ordre nationales. » Le moment de cet appel du PDG d'IBM, Krishna, n'est bien sûr pas une coïncidence. Les États-Unis sont en ébullition, entre autres, à cause des méthodes que les forces de police utilisent pour désigner les personnes à contrôler. Certains groupes, en particulier les Noirs américains, sont beaucoup plus susceptibles d'être surveillés, selon des recherches. "Profilage ethnique", affirment les opposants. A première vue, une technologie telle que la reconnaissance faciale offrirait une solution (partielle) :ne pas laisser le policier potentiellement raciste décider qui contrôler, mais laisser l'ordinateur. Mais c'est là le problème :la technologie n'est pas toujours neutre.
La technologie de reconnaissance faciale utilise l'intelligence artificielle pour sélectionner le visage d'une personne parmi une foule ou pour lier une photo à une image dans une base de données. C'est de mieux en mieux, mais une IA n'est pas infaillible non plus. Un faux positif (quelqu'un qui est reconnu par erreur comme un autre) ou un faux négatif (quelqu'un n'est pas reconnu) est toujours possible. Mais que montrent plusieurs études ? Le taux d'erreur est souvent beaucoup plus élevé lorsqu'il s'agit de personnes non blanches. En décembre dernier, le National Institute of Standards and Technology (NIST) des États-Unis a publié les résultats d'un test à grande échelle de 189 algorithmes.
La technologie n'est pas toujours neutre
Par exemple, il s'est avéré que la plupart des algorithmes donnaient 10 à 100 fois plus de faux positifs sur les visages asiatiques et afro-américains lors de l'appariement d'une photo avec une autre. Lorsqu'un visage est mis en correspondance dans une base de données, la plupart des erreurs sont commises avec des femmes noires américaines. Puisqu'une telle fouille est typique, la police a conclu assez durement le NIST :"Ce groupe de population est le plus à risque d'être faussement accusé d'un crime." C'est vraiment dangereux, car les forces de l'ordre adoptent généralement une ligne plus dure envers une personne soupçonnée d'un crime qu'envers un citoyen qui semble innocent. Une évaluation incorrecte par un logiciel peut également renforcer les préjugés existants d'un policier. Détail douloureux à cette conclusion :le NIST a utilisé une base de données du FBI de 1,6 million de mugshots pour ce test † L'agence gouvernementale a également souligné que les algorithmes américains étaient nettement moins performants pour évaluer les personnes non blanches que ceux développés en Asie. Les algorithmes semblent donc avoir le soi-disant biais racial que les études ont trouvé chez les observateurs humains. Incidemment, il y a des indications qu'il y a aussi un préjugé sexiste consiste; les femmes sont plus souvent mal identifiées que les hommes.
Mais pourquoi ces algorithmes d'IA fonctionnent-ils moins bien sur les Américains noirs que blancs ? Le soupçon est que cela est dû à la "formation" que l'IA a reçue. Pour apprendre à distinguer les visages, l'IA est d'abord exposée à des ensembles de données avec des photos. Ces données peuvent ne pas être très diverses, de sorte qu'une IA est moins bien formée pour distinguer les traits du visage des personnes (ou des femmes) non blanches.
La lettre d'IBM est liée à la discussion plus large sur l'utilisation de la reconnaissance faciale par la police américaine. Le politicien démocrate Bernie Sanders a même appelé il y a un an à une interdiction totale de la technologie par les forces de l'ordre. Une telle interdiction existe déjà dans les villes de San Francisco et d'Oakland. Une interdiction totale est-elle la réponse ? Peut-être, bien que certains soutiennent que les algorithmes et les données seraient testés pour la neutralité par le gouvernement afin de rendre la technologie plus neutre. Et ailleurs dans le monde ? En Chine, le gouvernement semble adopter la technologie avec enthousiasme. En Europe, il y a plus de discussions, mais pas très intenses. Une interdiction de cinq ans sur l'utilisation de la reconnaissance faciale a finalement disparu d'un plan de la Commission visant à stimuler la recherche sur l'IA. Les responsables gouvernementaux européens semblent trouver difficile de trouver un équilibre entre la discrimination et la vie privée d'une part et les exigences des forces de l'ordre et la compétitivité de l'Europe d'autre part.
