Deepmind, la division Intelligence Artificielle (IA) de Google, travaille depuis un certain temps sur des images Google Street View entraînées par un agent logiciel. Le jeu de données peut ainsi naviguer sur une carte sans avoir besoin de coordonnées GPS.
Il utilise uniquement des repères visuels. L'ensemble de données actuel comprend plusieurs régions dans les centres-villes de Londres, Paris et New York. Les images consistent en des photos panoramiques à 360 degrés des rues de Street View, chacune mesurant 84 x 84 pixels. Raia Hadsell, chercheuse chez DeepMind, s'attend à ce que Google mette l'ensemble de données Streetlearn à la disposition d'autres chercheurs à partir de novembre.
Avec l'ensemble de données, vous pouvez facilement naviguer à travers les trois villes. Le système apprend à naviguer dans une ville grâce à l'apprentissage par renforcement, un processus qui utilise une série de réseaux de neurones (couches multiples) et de modèles mathématiques. L'approche est basée sur la structure du cerveau humain. En fait, le modèle apprend la ville comme un humain le fait :à travers des repères visuels. Il existe trois réseaux neuronaux dans l'ensemble de données :un réseau neuronal convolutif qui gère la reconnaissance d'image et deux réseaux de mémoire à long court terme (LSTM).
Ces derniers servent de forme de mémoire afin que le système plus large puisse prendre en compte les données contextuelles. En combinant ces trois réseaux de neurones, Google peut créer un agent logiciel transférable à d'autres villes en utilisant ce qu'il a déjà appris. Hadsell :« Un chauffeur de taxi à Londres pourrait tout aussi bien se rendre à Paris et y faire le tour sans avoir à réapprendre à conduire. Il sait tourner à gauche ou à droite. Il a juste besoin d'apprendre à connaître l'environnement. Cela fonctionne aujourd'hui, et cela fonctionnera de mieux en mieux au fur et à mesure qu'il apprendra plus de villes."
