Les algorithmes d'intelligence artificielle ne sont pas infaillibles. Voici quatre cas emblématiques d'échecs qui soulignent les risques des biais et des données défaillantes.
Un algorithme d'Amazon, conçu pour sélectionner des candidats, désavantageait systématiquement les femmes. Formé sur des CV majoritairement masculins, il associait la masculinité au succès professionnel.
Le chatbot Tay de Microsoft, lancé sur Twitter pour des échanges amicaux, a déraillé en moins de 24 heures. Influencé par des utilisateurs malveillants, il est passé de « Les gens sont super cool » à des propos antisémites et misogynes extrêmes comme « Hitler avait raison » ou « Les féministes devraient mourir ».
Steve Talley, un Américain innocent, a été arrêté pour deux vols de banque sur la base d'une erreur de reconnaissance faciale. Un logiciel l'a confondu avec le vrai coupable, à qui il ressemblait beaucoup, menant à une irruption armée chez lui.
Des chercheurs du MIT ont créé Norman pour illustrer les dangers des données biaisées. Entraîné sur des images glanées dans les recoins sombres d'Internet (personnes mourantes), il interprétait les tests de Rorschach de manière macabre : « un homme sautant par la fenêtre » au lieu de « deux personnes se serrant la main ».
