Lens Live, la solution d'Amazon pour rendre l'expérience d'achat toujours plus rapide

Il y avait Rufus, l'assistant shopping IA d'Amazon, il y a désormais Lens Live qui intègre ce même assistant pour analyser instantanément les produits et afficher en temps réel des correspondances dans un carrousel consultable par balayage, pour faciliter la recherche de l’article idéal.

Disponible dans un premier temps sur iOS aux États-Unis - ce qui représente déjà un marché de dizaines de millions de personnes - la fonctionnalité Lens Live est intégrée à l’application Amazon Shopping et ne semble pas nécessiter d’abonnement supplémentaire.

L'appareil photo, centre névralgique de la solution

Le fonctionnement est simple : dès que les clients ouvrent Amazon Lens, l’appareil photo commence instantanément à scanner les produits et affiche les articles correspondants dans un carrousel consultable en bas de l’écran, permettant des comparaisons rapides.

Les clients peuvent appuyer sur un article dans la vue caméra pour se concentrer sur un produit spécifique, ajouter des articles directement à leur panier en appuyant sur l’icône +, ou les enregistrer dans leur liste de souhaits en appuyant sur l’icône cœur, le tout sans quitter la vue caméra. L'intégration de l'assistant Rufus permet notamment aux clients d'accéder à certaines questions suggérées et à des résumés rapides mettant en avant les atouts d’un produit.

Un modèle de détection d'objets exécuté directement sur smartphone

Pour construire Lens Live, Amazon s'est appuyé sur Amazon OpenSearch et SageMaker entre autres. Se trouve ainsi en arrière-plan un modèle de détection d’objets par vision artificielle relativement compact, exécuté directement sur l’appareil, afin d’identifier les produits en temps réel lorsque les clients balayent une scène ou se concentrent sur des articles spécifiques.

Lens Live emploie ensuite un modèle d’intégration visuelle par deep learning pour comparer la vue du client avec des produits Amazon, retrouvant des articles identiques ou très similaires. Avec Lens Live, Amazon montre une volonté claire de démocratiser l’usage de la recherche visuelle, en en faisant une fonctionnalité phare de son application. C’est aussi une réponse aux innovations similaires de ses concurrents comme Google Lens ou Pinterest, mais avec l’avantage d'un écosystème fort (panier, wishlist, livraison, etc.).