Open Sesame est un logiciel qui permet de contrôler les déplacements et actions clics de la souris à partir des mouvements de la tête capturés depuis une webcam. Pensé par une personne tétraplégique le logiciel a été réalisé et commercialisé par la société Sesame Enable (Israël), qui a décidé de le diffuser gratuitement avant de cesser ses activités.
Open Sesame pour Windows se distingue des solutions existantes par son interface graphique qui, en cours d’utilisation, affiche les fonctions clics à la périphérie d’un cercle apparaissant après immobilisation du curseur. Deux interfaces sont proposées : la première, simplifiée donne l’accès au clic gauche et droit, la seconde plus complète, inclue le clic gauche continu (utile dans les applications d’écriture et de communication), le clic maintenu déplacé, une fonction scroll, une touche pause et l’accès au recalibrage.
Une version existe à partir de la version 7 d’Android.
Référence
Open Sesame for Windows (V 2.0.3) / Open Sesame – Commande non tactile (Android)
La page d’accueil comporte un bouton « About » permettant l’accès à un court tutoriel.
En cours de paramétrage, confié à un aidant, il sera utile d’activer/désactiver le suivi de tête, ce que permettent les raccourcis Ctrl+Alt+S (off) et Return (on).
Calibration
Le menu Settings > Motion > Mesure Sensitivity ouvre une fenêtre affichant le visage en gros plan.
– étape 1 : rester immobile le temps que le logiciel détecte le visage,
– étape 2 : déplacer la tête dans l’axe horizontal en poussant les flèches affichées à l’écran,
– étape 3 : idem dans le sens vertical.
Calibrage horizontal puis vertical de l’amplitude des mouvements de tête.
Gestion des clics
Les actions clics s’opèrent en mode clic automatique après stationnement du curseur pendant une durée paramétrable : le logiciel affiche alors les fonctions clics à la périphérie d’un cercle apparaissant après immobilisation du curseur.
Le logiciel propose deux niveaux de gestion des clics :
Mode simplifié : accès aux fonctions clic gauche, clic droit et annulation. Considérant que la fonction clic gauche est la plus utilisée, nous regrettons que ce mode ne propose pas le déclenchement automatique d’un clic gauche par défaut à l’endroit où le curseur est immobilisé. Après ouverture de la fenêtre, il convient de déplacer le curseur sur le bouton clic gauche, ce qui occasionne une étape supplémentaire. Aussi, pour les habitués à l’environnement Windows, nous préconisons le mode avancé, plus fonctionnel.
Mode simplifié : clic gauche, clic droit et annulation.
Mode avancé : plus complet, ce mode propose l’accès au clic gauche, clic droit, clic maintenu déplacé, fonction scroll (défilement de pages), accès aux réglages et annulation.
Bouton pause : Le mode avancé affiche à l’écran un bouton pause très pratique, accessible au survol et permettant de mettre en pause le mode clic automatique. Il est possible de définir l’emplacement du bouton. Un nouveau survol désactive la pause et réenclenche le clic automatique.
Clic gauche en continu : Dans le mode avancé, il est possible après avoir sélectionné le clic gauche de choisir l’option clic gauche en continu, particulièrement utile quand on compose en continu du texte sur un clavier virtuel ou des messages depuis un logiciel de communication. Pour sélectionner cette option juste après la sélection du bouton clic gauche, sélectionner le bouton en forme de flèche en boucle situé juste à droite (copie d’écran ci-après).
Mode avancé : clic gauche, clic gauche continu, clic droit, clic maintenu déplacé, scroll et réglagesSélection du mode clic continu et affichage du bouton Stop Clicking.
Mode de contrôle
Open Sesame propose deux modes d’interaction depuis le menu Motion :
Absolute : c’est le mode principal correspondant à la détection de l’intégralité du visage matérialisé par un cadre au sein de l’image affichée par la webcam, pour contrôler les déplacements du curseur à partir des mouvements de la tête.
Adaptive : est un mode expérimental, permettant de limiter la capture à une zone mobile du visage, comme le menton ou un sourcil. Présenté dans un webinaire consultable sur la chaîne Youtube des auteurs, ce mode d’accès est difficilement reproductible.
Calibrage et recentrage
Depuis le menu avancé, l’icône en forme de roue dentée puis le bouton en forme d’œil permet de relancer la détection faciale, ce qui permet à l’utilisateur de se repositionner et recentrer le curseur, si celui ci se décale en cours d’utilisation.
Clic automatique
Couleur du cercle accompagnant le clic automatique
Dans le menu System, l’option Visual permet de choisir la couleur accompagnant le cercle d’incrémentation avant le clic automatique. (7 couleurs). La case Show Visual Feedback affiche la vidéo de l’utilisateur en arrière plan avec réglage de la transparence. (option peu utile).
Faire défiler un document (page web, pdf, traitement de texte…) fonction scroll up, et scroll down
Paramétrage du clic automatique
Le paramétrage des durées de stationnement avant déclenchement des actions s’opère depuis le menu Settings > Interractions.
Click time, définit la durée de stationnement avant l’affichage des boutons d’action.
Action selection time : idem, mais concerne l’accès direct aux boutons d’action.
Click dwell region définit une zone qui autorise le clic automatique même quand le curseur n’est pas complètement immobilisé. Important et très utile, cette option à tester est exprimée en pixels.
Désactiver la fonction clic automatique
Il est possible de désactiver le mode clic automatique d’Open Sesame afin d’utiliser celui proposé dans certains logiciels si celui ci s’avère plus performant.
Procédure : Menu Settings > System > Interaction > Replace leff click with, et choisir une touche comme celle donnée en exemple, space, espace. En l’absence d’appui sur la touche espace, le clic automatique programmé sur le logiciel utilisé sera prioritaire.
A noter que cette procédure permet d’affecter à un contacteur externe la fonction clic gauche en cours d’utilisation sans avoir recours au clic automatique.
Le logiciel propose également l’affectation d’un contacteur externe à la fonction clic droit.
Essais
Le déplacement du curseur est fluide, même dans un environnement faiblement éclairé.
Nous avons apprécié l’option permettant la mesure des mouvements, qui associés aux réglages de la sensibilité horizontale et verticale autorisent une amplitude très faible afin que le curseur se déplace sur la totalité de l’écran.
L’accès aux boutons d’actions après immobilisation du curseur est intuitif et facilité par l’ergonomie de l’interface.
En cas d’absence temporaire, le logiciel recalibre automatiquement la détection faciale au retour de l’utilisateur.
Le logiciel peut être lancé au démarrage de l’ordinateur, option utile pour les personnes tétraplégiques, ou être lancé manuellement depuis un raccourcis clavier ou un contacteur externe.
Le port de lunettes émettant des reflets peut fausser la reconnaissance faciale.
Android
Une version pour Android (version 7 et supérieures) est disponible sur Google Play sous le nom « Open Sesame – Commande non tactile ». Proche de la version pour Windows, cette version comporte des options particulières concernant la compensation de l’accès au mode tactile, un mode commandes vocales personnalisables, la possibilité de prendre une photo (alors que la webcam est utilisée pour le suivi de tête), etc.
Voir à ce propos : http://lestactiles.be/app_sesame.
Open Sesame – Commande non tactile pour Android sur Google Play Store.Utilisation d’Open Sesame sur tablette Android auprès d’une personne tétraplégique.
Conclusion
Open Sesame est né d’une rencontre entre une personne handicapée et un développeur ayant intégré une commande par mouvements de la tête au sein d’un jeu vidéo.
Sesame Enable, la société l’ayant commercialisé, a fait le choix de le rendre gratuit lors de sa cessation d’activité. Nous l’en remercions tout en regrettant que les codes sources n’aient pas été libérés afin que d’autres développeurs puissent en assurer la maintenance, et développer de nouvelles fonctionnalités, tout comme l’avaient prévu les auteurs dans un webinaire consultable sur la chaîne Youtube de la société.
Le logiciel réunit cependant d’intéressantes options comme la détection d’amplitude des mouvements de la tête, la proximité des boutons d’actions autour du curseur quand il est immobilisé, le recentrage automatique…
Un logiciel à télécharger tant que le site qui l’héberge existe, pour essais comparatifs avec les autres solutions existantes dans ce domaine.
Pour offrir les meilleures expériences, nous utilisons des technologies telles que les cookies pour stocker et/ou accéder aux informations des appareils. Le fait de consentir à ces technologies nous permettra de traiter des données telles que le comportement de navigation ou les ID uniques sur ce site. Le fait de ne pas consentir ou de retirer son consentement peut avoir un effet négatif sur certaines caractéristiques et fonctions.
Fonctionnel
Toujours activé
Le stockage ou l’accès technique est strictement nécessaire dans la finalité d’intérêt légitime de permettre l’utilisation d’un service spécifique explicitement demandé par l’abonné ou l’utilisateur, ou dans le seul but d’effectuer la transmission d’une communication sur un réseau de communications électroniques.
Préférences
Le stockage ou l’accès technique est nécessaire dans la finalité d’intérêt légitime de stocker des préférences qui ne sont pas demandées par l’abonné ou l’utilisateur.
Statistiques
Le stockage ou l’accès technique qui est utilisé exclusivement à des fins statistiques.Le stockage ou l’accès technique qui est utilisé exclusivement dans des finalités statistiques anonymes. En l’absence d’une assignation à comparaître, d’une conformité volontaire de la part de votre fournisseur d’accès à internet ou d’enregistrements supplémentaires provenant d’une tierce partie, les informations stockées ou extraites à cette seule fin ne peuvent généralement pas être utilisées pour vous identifier.
Marketing
Le stockage ou l’accès technique est nécessaire pour créer des profils d’utilisateurs afin d’envoyer des publicités, ou pour suivre l’utilisateur sur un site web ou sur plusieurs sites web ayant des finalités marketing similaires.
