Gameface

Piloté par Google, Gameface est un nouveau projet qui permet de piloter sa souris uniquement avec la tête et le visage : le curseur est déplacé proportionnellement aux mouvements de la tête et les actions de commande se réalisent grâce à des expressions du visage choisies et paramétrées par l’utilisateur.
Ce logiciel libre et open source, initialement conçu pour le jeu vidéo, fonctionne sous Windows.
Plus besoin de matériel dédié ou de reconnaissance faciale, le dispositif s’appuie sur la webcam intégrée dans l’ordinateur.

Genèse du projet

Gameface fait suite à la demande directe d’un streamer de jeux vidéo auprès de Google. Ce joueur tétraplégique a perdu l’intégralité de son matériel lors d’un incendie. Google a décidé de collaborer avec lui pour concevoir ce projet.

Fonctionnement

Gameface détecte et analyse 468 points du visage pour le suivi du curseur. La reconnaissance d’expressions faciales assure les actions de clics, recentrage du curseur et de mise en pause.
L’application reconnaît actuellement six gestes du visage : ouvrir la bouche, décaler la bouche à gauche et à droite, lever le sourcil gauche ou droite, et abaisser le sourcil droit. Ces moyens d’accès assurent d’une manipulation fluide et personnalisable des fonctions de la souris. La possibilité de recentrer le curseur avec un geste dédié est un vrai plus et évite le décalage progressif du curseur.

Installation du logiciel

Vous pouvez télécharger la version actuelle sur l’adresse suivante : https://github.com/google/project-gameface/releases

Dézippez le dossier « release_0.3.30_win64.zip »

Lancer « run_app.exe »

Si vous êtes un adepte de la programmation Python, vous pourrez adapter ce logiciel à vos besoins spécifiques

Paramétrages

L’interface est en anglais mais reste simple à appréhender.
Au sein de chaque catégorie, vous trouverez en bas à gauche un encart avec un flux de caméra en direct vous permettant de vérifier le positionnement de l’usager par rapport à la webcam et d’avoir un retour visuel des gestes de commande effectués.

Camera
Vous pourrez y choisir la caméra concernée. Cette dernière doit pointer directement le visage de l’utilisateur.

Point de vigilance : les zones mobiles du visage doivent être bien visibles. Attention donc à l’éclairage et aux cheveux qui cacheraient les sourcils par exemple.

L’interrupteur “Face Control” permet d’activer ou désactiver le pilotage à la tête.

Cursor speed
Vous pourrez y paramétrer la vitesse de déplacement du curseur pour chaque direction (avant, arrière, gauche et droite), filtrer l’instabilité du curseur en cas de difficulté d’approche d’une zone cliquable, et déterminer la durée en millisecondes pendant laquelle l’utilisateur doit maintenir un geste avant de déclencher une action.

Mouse binding
Vous pouvez choisir le mouvement facial à attribuer à chaque action : ouvrir la bouche, mouvement de la bouche à droite ou à gauche, élever les sourcils gauche ou droit, abaisser le sourcil droit. Vous pouvez paramétrer les amplitudes pour ajuster la sensibilité des gestes déclenchant les actions de la souris clic gauche, clic droit, clic du milieu, mettre en pause, recentrer le curseur, switcher entre les moniteurs. Les utilisateurs peuvent définir des seuils différents pour chaque expression. Après quelques essais, le paramétrage ouvre sur une utilisation personnalisée, confortable et fluide.

Point de vigilance
En l’absence de l’émulation du double-clic, penser à supprimer cette option sous Windows. Pour cela, allez dans Explorateur de fichiers > 3 points > Options > Ouvrir les éléments par simple clic.

Keeboard binding
De la même façon que pour les actions de la souris, vous pouvez associer un geste facial à une touche du clavier.

Applications

Avec une manipulation fluide et réactive, Gameface propose une solution adaptée aux jeux vidéo simples sur ordinateurs. A l’instar des pointeurs à la tête (cf. Kit 202), Gameface permet la saisie de texte depuis tout type de clavier virtuel affiché à l’écran, l’accès à la CAA ou à la navigation internet.

Conclusion

Ce logiciel, en cours de développement, est prometteur et offre une solution performante gratuite et sans ajout de matériel de pointage ou de sélection.

Même si le logiciel offre des possibilités de personnalisation, le nombre d’expressions reste limité. D’autant que pour certaines, cela nécessite une bonne dissociation des sourcils, ce qui n’est pas évident pour tout le monde !

On pense donc déjà à des améliorations comme l’association de combinaisons de touches (macros) à une expression particulière du visage, la création de profils différents pour chaque jeu ou programme ou encore la création d’expressions personnelles. La communauté de développeurs est déjà à l’œuvre sur https://github.com/google/project-gameface/issues