Flexspeak

Flexspeak est une application pictographique de Communication Augmentative et Alternative (CAA) développée pour répondre aux besoins communicationnels des personnes présentant des troubles de la communication orale.

Cette application, fruit d’une collaboration entre paramédicaux et utilisateurs, se distingue par l’intégration de l’intelligence artificielle permettant la prédiction contextuelle, la traduction automatisée et la génération de visuels.

Elle est disponible sur les appareils iOS et MacOS et son développement se poursuit avec des mises à jour régulières.

Installation

L’application requiert un environnement iOS 15.1 minimum sur iPhone, iPad ou iPod touch, ou macOS 12.0 (puce Apple M1 ou ultérieure). Après téléchargement depuis l’App Store, il faudra créer un profil utilisateur puis choisir la langue et personnaliser les paramètres vocaux, afin d’adapter l’outil aux besoins communicationnels spécifiques de l’utilisateur.

Flexspeak intègre une vingtaine de langues. L’anglais, l’espagnol et le vietnamien bénéficient d’une implémentation complète avec des modèles d’IA optimisés. Le français, comme plusieurs autres langues, demeure en phase bêta, ce qui signifie que son développement algorithmique est toujours en cours. Les tests démontrent que la version française est utilisable, malgré quelques imprécisions persistantes dans l’application.

Présentation de l’interface

L’organisation générale de l’interface s’inscrit dans la continuité des standards établis pour les applications de CAA, proposant une grille de pictogrammes propres à l’application, avec un visuel simple, attractif et dynamique. En haut de cette grille, on retrouvera les fonctions principales et la barre d’affichage de texte.

Les items sont répartis par catégories, chacune bénéficiant d’un code couleur distinct : “gens” (rose), “actions” (bleu), “décrire” (vert), “sujets” (gris), “sociale” (jaune) et “prépositions” (orange). Un appui sur n’importe quelle case permet d’accéder à des sous-pages offrant davantage de choix et de possibilités d’expression. Il convient de noter que les traductions des titres de catégories pourraient bénéficier d’une terminologie plus intuitive pour les utilisateurs francophones.

Sur le côté droit se trouve la “Grammar column” qui, contrairement à ce que son nom suggère, ne propose que les formes plurielles. La fonction de grammaticalisation de Flexspeak ne passe donc pas par cette colonne. Il faudra passer l’option “baguette magique” comme nous le verrons dans les fonctionnalités. On peut, depuis les paramètres, faire apparaître ou non cette colonne.

Fonctionnement

L’application intègre un système de génération de messages alimentée par l’intelligence artificielle. L’utilisateur saisit uniquement les concepts principaux de son message, par exemple “nous” + “aller” + “classe”

En cliquant sur le bouton « baguette magique », l’algorithme génère une formulation par défaut, que l’on peut décliner selon l’intention voulue (défaut, demande, négation / protestation, commentaire, question) :

Les autres propositions sont :

• Demande : Pourrions-nous aller en classe, s’il vous plaît ?
• Négation : Non, je ne veux pas aller en classe.
• Commentaire : Je vais en classe
• Question : Nous allons en classe ?

Cette fonctionnalité s’avère particulièrement pertinente pour les utilisateurs ayant conservé des compétences en littératie et qui peuvent juger si les suggestions correspondent à leurs souhaits.

Le message peut ensuite être partagé par mail, SMS, notes…

En théorie, cette fonctionnalité augmente significativement l’efficience communicationnelle, cependant, il faut admettre que les propositions s’éloignent parfois beaucoup de la demande initiale.
Il est possible de désactiver cette fonction pour les utilisateurs présentant des troubles du langage écrit, afin d’éviter une surcharge cognitive ou des erreurs d’interprétation.
Cette fonctionnalité nécessite impérativement une connexion internet active pour accéder aux modèles de langage avancés.

Flexspeak propose l’affichage plein écran du message mais seulement pour les items sélectionnés. Cette option est intéressante dans les environnements bruyants où la sortie vocale peut s’avérer insuffisante. Pour l’activer, il vous faudra appuyer sur l’icône dédiée dans la barre d’affichage de message.

Personnalisation

La partie supérieure de l’écran affiche plusieurs éléments fonctionnels : l’indicateur de langue active, le crayon permettant d’éditer les pages, le bouton de traduction et l’accès aux paramètres.

Paramètres généraux

Les options de paramétrage concernent les caractéristiques générales de la grille : nombre de cases, affichage ou non de la colonne de grammaticalisation, l’énonciation des mots saisis, la vitesse d’élocution…

Traduction pilotée par IA

Flexsteak propose un mode traduction qui permet d’entrer du texte dans une langue et de le recevoir dans une des 19 autres langues. Cette fonctionnalité répond aux besoins des personnes multilingues, peu abordés dans d’autres outils de CAA. Ce mode, basé sur des réseaux neuronaux, nécessite une connexion internet.

Edition de page

Les options d’édition (crayon) permettront d’accéder à une structuration personnalisée des pages pour s’adapter aux besoins spécifiques de l’utilisateur.

On peut ainsi masquer le vocabulaire pour s’adapter aux besoins de la personne :

Le système assure également l’ajout d’items avec la possibilité d’y intégrer différents visuels (symboles, photographies ou GIF) avec des algorithmes facilitant la recherche. On peut ainsi ajouter des cellules en appuyant sur case vide “+” puis Button.

En tapant le nom de la cellule souhaitée, par exemple le mot piscine, l’IA propose une série de symboles, de photos ou de GIFs. L’IA permet d’avoir des propositions personnalisées tout en gardant la cohérence générale des pictogrammes.

Dans ce cas précis, “piscine” propose même une photo du Musée de la Piscine, situé non loin de chez nous !

Création de nouvelles catégories

Enfin, la fonction Quick Add emploie également l’IA pour suggérer du vocabulaire contextuel autour d’une première proposition. Cette option permet de créer de nouvelle catégories. Pour cela il faudra choisir, depuis le menu d’édition (crayon), le bouton “+” puis Folder. Dans l’exemple ci-dessous, on a choisi le contexte “repas” auquel on pourra associer une image :

On sélectionne ensuite le dossier créé, on repasse en mode édition (crayon) et, depuis le bouton Quick Add, on peut générer, grâce aux algorithmes, une série de pictogrammes en lien avec le sujet :

On sélectionne les items voulus et on peut les placer dans le dossier.

Remarque : les erreurs de traduction font parfois des propositions surprenantes, il faudra bien s’assurer de la pertinence des items !

Conclusion

Flexspeak se distingue comme une application de Communication Alternative et Augmentée (CAA) qui, sous une apparence visuelle classique, intègre des fonctionnalités innovantes grâce à l’intelligence artificielle.

Bien que l’outil présente des limitations techniques, notamment la nécessité d’une connexion internet permanente pour certaines fonctions avancées et le caractère encore approximatif des prédictions de messages, son potentiel pour faciliter la communication et soutenir l’expression orale demeure significatif.

Les fonctionnalités de génération automatisée de contenu linguistique requièrent une évaluation préalable des compétences de lecture et de compréhension de l’utilisateur afin d’assurer la correspondance entre le message généré et l’intention initiale.

L’évolution continue de l’application, nourrie par les retours des utilisateurs et les progrès en intelligence artificielle, laisse entrevoir des améliorations prometteuses que nous suivons avec attention.