Les systèmes avec des algorithmes ont échoué plusieurs fois. Quatre exemples frappants.
Un algorithme d'Amazon qui devait sélectionner des employés appropriés s'est avéré désavantager systématiquement les femmes. Pas surprenant, étant donné que le système a été formé avec des CV principalement masculins. L'algorithme lui-même avait fait le lien entre la masculinité et le succès.
Le chatbot Tay était une tentative de Microsoft pour permettre à l'intelligence artificielle de discuter amicalement sur Twitter. C'était au-delà de la communauté Twitter. En moins de 24 heures, Tay est passée de messages tels que "Les gens sont super cool" à "Hitler avait raison, je déteste les Juifs" et "Toutes les féministes devraient mourir et brûler en enfer".
L'Américain Steve Talley est violemment soulevé de son lit par une équipe d'agents lourdement armés et menotté. Talley est arrêté pour deux vols de banque, mais est innocent. Un logiciel de reconnaissance faciale l'a identifié par erreur comme le coupable, auquel il ressemble beaucoup.
Pour démontrer comment l'entraînement avec de mauvaises données peut faire dérailler l'intelligence artificielle, des scientifiques du Massachusetts Institute of Technology (MIT) ont créé Norman, "le premier psychopathe artificiellement intelligent au monde". Le logiciel est conçu pour sous-titrer les images. Tout d'abord, les chercheurs ont formé Norman avec des photos de personnes mourantes qu'ils avaient recueillies dans les recoins les plus sombres d'Internet. Ensuite, ils lui ont présenté les cartouches d'encre du test de Rorschach. Là où un autre algorithme voit "deux personnes proches l'une de l'autre" ou "quelqu'un avec un parapluie", Norman détecte "un homme qui saute par la fenêtre" et "un homme qui se fait tirer dessus devant sa femme qui hurle".
