PlayAbility

Développé par l’inventeur et YouTuber Valentin Squirelo, PlayAbility est un logiciel innovant qui permet de transformer les mouvements du visage et de la tête en commandes de jeux vidéo.

Grâce à l’intelligence artificielle, PlayAbility s’adapte aux capacités de l’usager et offre la possibilité de convertir une cinquantaine d’expressions faciales en commandes de manette, de souris ou de clavier. Les mouvements de la tête peuvent également être utilisés pour contrôler le joystick gauche ou droit d’une manette. Le logiciel permet aussi de combiner l’utilisation de la manette avec les gestes faciaux, permettant ainsi une grande variété de configurations et une expérience de jeu adaptée aux besoins spécifiques de l’utilisateur. Compatible avec tous les ordinateurs sous Windows, il ne nécessite aucune caméra particulière.

Installation et prérequis

Installation

Pour télécharger le logiciel rendez-vous sur le site de PlayAbility puis cliquez sur la rubrique “Téléchargement gratuit”. Une fois le logiciel téléchargé, créez votre compte utilisateur en cliquant sur “Sign up”. Un un mail de confirmation vous sera envoyé afin d’activer votre compte. Attention, il arrive que le mail arrive dans votre boîte spam.

Xbox

Concernant l’utilisation de PlayAbility avec votre console Xbox, téléchargez et installez d’abord l’application Xbox sur votre PC. Puis assurez vous que celui-ci soit connecté au même réseau que votre Xbox. En outre, vous devez posséder au préalable un compte Xbox.

Ensuite, sur votre console rendez-vous dans : Paramètres > Périphériques et connexions > Fonctionnalités à distance puis activez là. 

Enfin, suivez les instructions dans l’application pour connecter votre console Xbox. Une fois connecté, vous pourrez diffuser des jeux depuis votre console vers votre PC et utiliser playAbility pour créer des profils personnalisés pour la configuration des contrôles.

Play Station

Bien que Sony propose son logiciel “Remote Play”, celui-ci ne prend en charge que la manette DualSense et empêche l’utilisation de contrôleurs adaptatifs ou de logiciels comme PlayAbility.

Cependant, pour celles et ceux qui souhaitent jouer à des jeux PS5 à distance avec playAbility, le logiciel open-source Chiaki est recommandé par les équipes de playAbility.

Pour plus d’informations à ce sujet, playAbility propose un guide  pour vous accompagner dans la configuration du PS5 Remote Play via Chiaki, vous permettant alors de profiter d’une expérience de jeu entièrement personnalisée et accessible pour vos jeux PS5.

Prérequis

Pour utiliser playAbility, vous devez disposer d’un PC fonctionnant sur Windows. De plus, vous pouvez utiliser n’importe quelle webcam intégrée ou branchée à votre PC ou même un logiciel comme OBS, l’application de référence des streamers.

Notez que lorsque playAbility est actif, il n’est pas possible d’utiliser sa webcam pour un chat Discord par exemple. A ce titre, et pour les gamer/streamers qui nous lisent, sachez que les équipes de playAbility ont pensé à vous et mettent à disposition un pas à pas qui vous explique comment streamer vos meilleures parties grâce à OBS !

Pour finir, comme pour tout logiciel faisant appel à une caméra, il est important de veiller au bon éclairage de l’environnement afin d’optimiser la détection du visage par la webcam.

Utilisation

Création d’un profil

Lors de la première connexion, playAbility propose cinq profils prédéfinis appelés “Templates” à partir desquels vous allez pouvoir créer le votre :

• 1 stick, 2 boutons : configuration basique permettant d’émuler un des deux sticks analogiques et deux boutons.
• Vide : partez d’une manette vierge et définissez une action pour chaque bouton.
• Entière : une manette dont tous les boutons sont déjà prédéfinis
• Clics souris : utilisez votre sourire et vos sourcils pour le clique gauche et le clique droit.
• Jeux de courses : vous permet de diriger avec la tête et de freiner et accélérer avec vos sourcils.

Pas d’inquiétude, vous pourrez modifier ces template à votre guise et créer autant de profils que vous le souhaitez. Vous pouvez également renommer, dupliquer ou supprimer un profil en cliquant sur la petite roue crantée en haut à gauche de la page de votre profil.

Assigner une expression faciale à un bouton

Pour ce faire, cliquez sur “Ajouter une action”, puis sélectionnez le bouton que vous souhaitez émuler. Vous pouvez choisir parmi les contrôles de votre manette, de votre clavier ou de votre souris. Une fois le bouton sélectionné, cliquez sur “Sélectionner un déclencheur”. Comme avec reWASD, vous pouvez assigner les boutons de votre manette à des touches de clavier ou des clics de souris, et vice versa.

De plus, vous avez la possibilité de choisir une “expression faciale” pour émuler la commande. Les options les plus courantes sont proposées par défaut, mais si elles ne vous conviennent pas ou sont déjà utilisées, cliquez sur “Créer un nouveau déclencheur” en haut à droite de la fenêtre. Ainsi vous accèderez aux 50 expressions faciales détectées par playAbility et son IA triées dans 3 catégories :

• Bouche
• Sourcils
• Yeux

Le logiciel étant disponible uniquement en anglais, voici une capture d’écran traduite par nos soins. La version française devrait arriver dans une prochaine mise à jour.

Notez qu’en l’état, il n’est pas possible d’émuler les mouvements du pointeur de votre souris par les mouvements de votre tête directement via l’application. En revanche, si vous disposez de reWASD, vous pourrez émuler un des joysticks en pointeur de votre souris afin d’utiliser votre interface avec votre manette.

Paramétrages des commandes

Test des expressions faciales

Afin de calibrer vos réglages, playAbility propose un “Face taster” dans le menu gauche de la page d’accueil. Ainsi, vous pouvez d’abord cibler les mimiques les plus pertinentes à l’usage en fonction des capacités de l’utilisateur avant de définir vos réglages.

Calibrage des joysticks et des commandes

Sur playAbility, la détection des expressions faciales assistée par IA est très efficace : le moindre mouvement capté par la caméra suffira à déclencher l’action définie à un joystick ou à une touche. Cela a l’avantage de permettre aux usagers disposant de peu de mobilité d’utiliser le logiciel ; mais ça veut dire aussi que des déclenchements involontaires peuvent vite devenir intempestifs pour ceux qui disposent d’un peu plus de capacité de mouvement. Pas de panique ! Vous pouvez régler la sensibilité de détection pour chaque mimique ainsi que celle des mouvements de tête en cas d’utilisation des joysticks.

Pour cela, lorsque vous êtes sur votre profil, choisissez la commande que vous souhaitez calibrer puis cliquez sur “éditer”.

Pour les boutons

En premier lieu vous pouvez choisir d’émuler : un appui par défaut, un mode bascule (toggle), un appui court ou un appui long.

En second lieu, vous pouvez régler la sensibilité de détection du mouvement via la réglette rose. Celle-ci affiche une zone grisée qui correspond à la zone morte (non détection de l’action). Une fois le mouvement déclenché, une zone verte se déclenche lorsque le mouvement est détecté.

Enfin, si des détections intempestives persistent, ajuster le temps de détection du mouvement ou cocher la case “Requiert un évènement multiple” afin de déclencher l’action si et seulement si l’action a été détectée X fois dans un intervalle de temps choisi. Ce qui ajoute un peu plus à la personnalisation des commandes du profil.

Pour les joysticks

Pour les joysticks, il en va de même si ce n’est que vous avez d’abord le choix entre la détection de la rotation/tourner la tête, l’inclinaison haut bas/hochement de tête ou de l’inclinaison gauche/droite de la tête.

Là aussi, vous avez la possibilité de définir la zone morte de votre joystick ainsi que l’amplitude minimum et maximum d’exécution du mouvement par l’usager. Notez qu’en coachant une case, vous avez la possibilité d’inversé les axes du joystick.

Calibrage des joysticks

Conclusion

PlayAbilty est un logiciel fait par des gamers pour des gamers, et ça se sent ! En effet, ses nombreuses options d’accessibilité et de paramétrage, ainsi que sa compatibilité avec des logiciels tels que reWASD ou Remote Play, ou des plateformes comme Twitch,  permettent à de nombreuses personnes d’accéder au jeu vidéo. Seuls bémols, le logiciel n’est pas encore compatible avec la Nintendo Switch et l’interface utilisateur ne dispose pour le moment pas de traduction en français. Cependant, playAbility est sorti récemment et est encore régulièrement mis à jour. En outre, une capsule vidéo présentant le logiciel est en projet au Techlab. A suivre !