Inspirée par Saqib Shaikh, un ingénieur non voyant, data scientist de l’équipe Bing, l’application Seeing AI est apparue en 2015 lors d’un hackathon interne. L’année suivante, Microsoft en avait fait une démonstration sur des lunettes connectées. Arrivée sur l’App Store en 2017, elle est donc désormais multilingue. La version française a été conçue en collaboration avec l’association Valentin Hauÿ au service des aveugles et des malvoyants.
Ce mardi 3 décembre 2019, Microsoft a annoncé, à l’occasion de la Journée internationale des personnes handicapées des Nations Unies, une mise à jour majeure de Seeing AI et la prise en charge de cinq nouvelles langues dont le français.
L’application permet de choisir un mode de fonctionnement :
- Texte court
- lecture instantanée du texte filmé.
- Document
- guide l’utilisateur pour prendre une photo d’un document et en proposer une version accessible (contraste inversé, taille de caractère ajustable et voix de synthèse).
- Produit
- identifie un produit à partir de son code-barres.
- Personne
- localise et identifie les personnes aux alentours. Un apprentissage très simple est proposé pour associer une personne à son nom.
- Billet
- identifie la plupart des billets de banque.
- Luminosité
- fonctionne un peu comme un sonar. Émet un son dont la fréquence varie en fonction de la luminosité de l’image.
Et en mode expérimental,
- Scène
- décrit une scène prise en photo.
- Couleur
- énonce la couleur de la zone située au centre de l’image.
Seeing Ai est l’une des premières applications de Microsoft utilisant les technologies d’intelligence artificielle au service de l’accessibilité et de l’inclusion. Pour rappel, Microsoft a lancé un programme “AI for Accessibility”.
Seeing AI est à télécharger gratuitement sur l’App Store (iOS).
