Open Sesame

Introduction

Open Sesame est un logiciel qui permet de contrôler les déplacements et actions clics de la souris à partir des mouvements de la tête capturés depuis une webcam. Pensé par une personne tétraplégique le logiciel a été réalisé et commercialisé par la société Sesame Enable (Israël), qui a décidé de le diffuser gratuitement avant de cesser ses activités.
Open Sesame pour Windows se distingue des solutions existantes par son interface graphique qui, en cours d’utilisation, affiche les fonctions clics à la périphérie d’un cercle apparaissant après immobilisation du curseur. Deux interfaces sont proposées : la première, simplifiée donne l’accès au clic gauche et droit, la seconde plus complète, inclue le clic gauche continu (utile dans les applications d’écriture et de communication), le clic maintenu déplacé, une fonction scroll, une touche pause et l’accès au recalibrage.
Une version existe à partir de la version 7 d’Android.

Référence	Open Sesame for Windows (V 2.0.3) / Open Sesame – Commande non tactile (Android)
Auteur	Oded Ben-Dov (Israël)
Téléchargement	www.sesame-enable.com
Prix	Gratuit

Descriptif (Windows)

La page d’accueil comporte un bouton « About » permettant l’accès à un court tutoriel.
En cours de paramétrage, confié à un aidant, il sera utile d’activer/désactiver le suivi de tête, ce que permettent les raccourcis Ctrl+Alt+S (off) et Return (on).

Calibration

Le menu Settings > Motion > Mesure Sensitivity ouvre une fenêtre affichant le visage en gros plan.
– étape 1 : rester immobile le temps que le logiciel détecte le visage,
– étape 2 : déplacer la tête dans l’axe horizontal en poussant les flèches affichées à l’écran,
– étape 3 : idem dans le sens vertical.

Gestion des clics

Les actions clics s’opèrent en mode clic automatique après stationnement du curseur pendant une durée paramétrable : le logiciel affiche alors les fonctions clics à la périphérie d’un cercle apparaissant après immobilisation du curseur.
Le logiciel propose deux niveaux de gestion des clics :

• Mode simplifié : accès aux fonctions clic gauche, clic droit et annulation. Considérant que la fonction clic gauche est la plus utilisée, nous regrettons que ce mode ne propose pas le déclenchement automatique d’un clic gauche par défaut à l’endroit où le curseur est immobilisé. Après ouverture de la fenêtre, il convient de déplacer le curseur sur le bouton clic gauche, ce qui occasionne une étape supplémentaire. Aussi, pour les habitués à l’environnement Windows, nous préconisons le mode avancé, plus fonctionnel.

• Mode avancé : plus complet, ce mode propose l’accès au clic gauche, clic droit, clic maintenu déplacé, fonction scroll (défilement de pages), accès aux réglages et annulation.
  • Bouton pause : Le mode avancé affiche à l’écran un bouton pause très pratique, accessible au survol et permettant de mettre en pause le mode clic automatique. Il est possible de définir l’emplacement du bouton. Un nouveau survol désactive la pause et réenclenche le clic automatique.
  • Clic gauche en continu : Dans le mode avancé, il est possible après avoir sélectionné le clic gauche de choisir l’option clic gauche en continu, particulièrement utile quand on compose en continu du texte sur un clavier virtuel ou des messages depuis un logiciel de communication. Pour sélectionner cette option juste après la sélection du bouton clic gauche, sélectionner le bouton en forme de flèche en boucle situé juste à droite (copie d’écran ci-après).

Mode de contrôle

Open Sesame propose deux modes d’interaction depuis le menu Motion :

• Absolute : c’est le mode principal correspondant à la détection de l’intégralité du visage matérialisé par un cadre au sein de l’image affichée par la webcam, pour contrôler les déplacements du curseur à partir des mouvements de la tête.
• Adaptive : est un mode expérimental, permettant de limiter la capture à une zone mobile du visage, comme le menton ou un sourcil. Présenté dans un webinaire consultable sur la chaîne Youtube des auteurs, ce mode d’accès est difficilement reproductible.

Calibrage et recentrage

Depuis le menu avancé, l’icône en forme de roue dentée puis le bouton en forme d’œil permet de relancer la détection faciale, ce qui permet à l’utilisateur de se repositionner et recentrer le curseur, si celui ci se décale en cours d’utilisation.

Clic automatique

Couleur du cercle accompagnant le clic automatique

Dans le menu System, l’option Visual permet de choisir la couleur accompagnant le cercle d’incrémentation avant le clic automatique. (7 couleurs). La case Show Visual Feedback affiche la vidéo de l’utilisateur en arrière plan avec réglage de la transparence. (option peu utile).

Paramétrage du clic automatique

Le paramétrage des durées de stationnement avant déclenchement des actions s’opère depuis le menu Settings > Interractions.

• Click time, définit la durée de stationnement avant l’affichage des boutons d’action.
• Action selection time : idem, mais concerne l’accès direct aux boutons d’action.
• Click dwell region définit une zone qui autorise le clic automatique même quand le curseur n’est pas complètement immobilisé. Important et très utile, cette option à tester est exprimée en pixels.

Désactiver la fonction clic automatique

Il est possible de désactiver le mode clic automatique d’Open Sesame afin d’utiliser celui proposé dans certains logiciels si celui ci s’avère plus performant.
Procédure : Menu Settings > System > Interaction > Replace leff click with, et choisir une touche comme celle donnée en exemple, space, espace. En l’absence d’appui sur la touche espace, le clic automatique programmé sur le logiciel utilisé sera prioritaire.
A noter que cette procédure permet d’affecter à un contacteur externe la fonction clic gauche en cours d’utilisation sans avoir recours au clic automatique.
Le logiciel propose également l’affectation d’un contacteur externe à la fonction clic droit.

Essais

Le déplacement du curseur est fluide, même dans un environnement faiblement éclairé.
Nous avons apprécié l’option permettant la mesure des mouvements, qui associés aux réglages de la sensibilité horizontale et verticale autorisent une amplitude très faible afin que le curseur se déplace sur la totalité de l’écran.
L’accès aux boutons d’actions après immobilisation du curseur est intuitif et facilité par l’ergonomie de l’interface.
En cas d’absence temporaire, le logiciel recalibre automatiquement la détection faciale au retour de l’utilisateur.
Le logiciel peut être lancé au démarrage de l’ordinateur, option utile pour les personnes tétraplégiques, ou être lancé manuellement depuis un raccourcis clavier ou un contacteur externe.
Le port de lunettes émettant des reflets peut fausser la reconnaissance faciale.

Android

Une version pour Android (version 7 et supérieures) est disponible sur Google Play sous le nom « Open Sesame – Commande non tactile ». Proche de la version pour Windows, cette version comporte des options particulières concernant la compensation de l’accès au mode tactile, un mode commandes vocales personnalisables, la possibilité de prendre une photo (alors que la webcam est utilisée pour le suivi de tête), etc.
Voir à ce propos : http://lestactiles.be/app_sesame.

Conclusion

Open Sesame est né d’une rencontre entre une personne handicapée et un développeur ayant intégré une commande par mouvements de la tête au sein d’un jeu vidéo.
Sesame Enable, la société l’ayant commercialisé, a fait le choix de le rendre gratuit lors de sa cessation d’activité. Nous l’en remercions tout en regrettant que les codes sources n’aient pas été libérés afin que d’autres développeurs puissent en assurer la maintenance, et développer de nouvelles fonctionnalités, tout comme l’avaient prévu les auteurs dans un webinaire consultable sur la chaîne Youtube de la société.
Le logiciel réunit cependant d’intéressantes options comme la détection d’amplitude des mouvements de la tête, la proximité des boutons d’actions autour du curseur quand il est immobilisé, le recentrage automatique…
Un logiciel à télécharger tant que le site qui l’héberge existe, pour essais comparatifs avec les autres solutions existantes dans ce domaine.