Click AAC

Introduction

Click AAC est une application de communication alternative et améliorée qui permet de communiquer sur des scènes visuelles. À partir d’une photo prise directement ou sélectionnée depuis un smartphone ou une tablette, Click AAC utilise l’intelligence artificielle pour générer diverses phrases légendées avec des pictogrammes Arasaac et un tableau de communication liés aux éléments qui apparaissent sur la photo.

Click AAC est développée par des chercheurs de la School of Information Studies de l’Université McGill au Canada. Mauricio Fontana de Vargas en est le créateur. L’application est disponible en treize langues dont le français depuis octobre 2021.

Démarrage

Lorsque vous lancez l’application la première fois, vous devez indiquer si vous souhaitez participer au développement de Click AAC en sélectionnant « I’d like to know how to participate ». Dans ce cas, vos données d’utilisation peuvent être utilisées dans le cadre de la recherche menée par l’université qui développe ce logiciel. Pour démarrer immédiatement, choisissez « Start the app ».

Écran d’accueil

L’application nécessite d’être connecté à Internet pour convertir une photo. Vous avez alors le choix entre 3 propositions :

• on peut envoyer une photo de la bibliothèque,
• prendre directement une photo,
• ou accéder à un album déjà créé.

La roue dentée en haut à gauche permet d’accéder aux paramètres, nous y reviendrons après mais il faut d’emblée sélectionner la langue souhaitée.

Le point d’interrogation en haut à droite offre 2 choix, « I’d like to know how to participate » ou, avant de commencer, « continue to tutorial » qui permet d’accéder à de nombreuses explications sur le fonctionnement de l’application.

Paramètres

Pour accéder aux paramètres, il faut sélectionner la roue dentée que vous trouverez en haut à gauche de la page d’accueil : on peut configurer la langue (choisir parmi 13 langues) , le type de vocabulaire , la couleur des pictogrammes, la voix de synthèse…

Quatre options sont possibles dans le type du vocabulaire :

• « Descriptive » : une phrase et des mots décrivant la scène photographiée.
• « Related » : des mots relatant ce qui est montré sur la photo.
• « Related Expanded » : un grand panel de mots en lien avec ce qui est monté sur la photo.
• « Narrative » : lexique du champ sémantique de la scène mais qui ne colle pas forcément à la photo pour pouvoir créer personnellement son récit.

Pour l’instant, nous ne voyons pas de différences entre ces 4 options, il faut encore que l’application se développe.
Le choix du nombre de mots selon la classe grammaticale (nom, verbe, adjectif) ainsi que du nombre de phrases peut être personnalisé dans les paramètres.

Dans le tableau, on peut choisir le nombre de colonnes de noms, pronoms, verbes et adjectifs de 0 à 5. On pourra mettre uniquement une colonne mais une seule classe grammaticale sera représentée.

Au niveau syntaxique, dans la grille, on peut choisir les classes grammaticales mais les verbes sont à l’infinitif, les noms et les adjectifs sont au masculin-singulier, il n’y a pas d’articles, de conjonctions… Il n’y a pas de grammaire automatique comme dans certains outils de CAA.

Le code Fitzgerald par défaut permet ici de classer grammaticalement les mots. Les couleurs sont modifiables.

Application avec retour vocal et bande-phrase

L’application de communication pictographique Click AAC propose un retour vocal et une bande phrase. À l’appui d’un pictogramme ou d’une phrase, une synthèse vocale se déclenche. Dans les paramètres, on choisit parmi treize langues. En français, on choisit parmi 2 voix de femme et 2 voix d’homme.

Chaque pictogramme sélectionné dans la grille sera illustré dans la bande phrase. Lorsqu’on appuie n’importe où dans la bande-phrase, la synthèse vocale se déclenche.

La taille de la bande-phrase est modifiable dans les paramètres.

Édition

En appuyant de façon prolongée sur la photo de la page contenant le tableau de com et les phrases, 4 actions vont être possibles sur les pictos du tableau : déplacer (flèches), supprimer (corbeille), ajouter (+), modifier (crayon).

On appuie sur l’une des 4 icônes souhaitées puis appui prolongé sur le picto concerné. Actuellement, on peut juste modifier le picto (choix entre plusieurs pictos Arasaac) mais pas le texte écrit. Une fois choisi, ne pas oublier de confirmer en bas à droite.

Si on veut créer un nouveau bouton avec un nouveau texte écrit, on utilise le +. J’ajoute le texte « le bateau » qui sera automatiquement associé à la synthèse, je choisis le picto souhaité, la couleur de fond selon la classe grammaticale et le tour est joué ! Pour ajouter un verbe, il faut d’abord l’écrire à l’infinitif puis on choisit l’image et la couleur puis on conjugue le verbe si on le souhaite, on change le texte.

Dommage, on ne peut actuellement pas ajouter de photos ou images perso.

La seule action possible pour les phrases est la suppression : appui sur la corbeille puis appui prolongé sur la phrase à supprimer.

En appuyant de façon prolongée sur une photo de l’album, on peut supprimer (corbeille) ou déplacer l’album (flèche).

L’album

L’album contient toutes les photos déjà intégrées par nous-même et converties.

Lorsqu’on souhaite consulter une photo de l’album, il faut appuyer dessus puis on pourra naviguer entre les pages grâce à des flêches situées de part et d’autres ou en scrollant à droite ou à gauche.

Conclusion

Click AAC est une application innovante permettant d’instaurer facilement et rapidement un support pour la communication pictographique sur des scènes visuelles.

Configurée dans une langue étrangère, elle sera un véritable interprète pour tout public, elle permettra de trouver le vocabulaire adapté dans une situation précise. Par exemple, à la boulangerie, je prends une photo pour voir une grille de vocabulaire dans la langue souhaitée et communiquer avec le commerçant.

En orthophonie, il est fréquent de travailler sur base d’images, de scènes visuelles. Click AAC sera un support idéal pour communiquer sans devoir aller chercher les picto en rapport sur papier ou autre. Quel gain de temps pour l’orthophoniste ! On peut demander de communiquer en PACE sur des scène visuelles en proposant Click AAC comme support en plus d’autres canaux : gestes, dessins…

L’utilisateur en situation de communication orale complexe et qui débute avec la com par picto pourra d’emblée émettre vocalement des phrases toute faites ce qui est très motivant.

On peut utiliser aussi Click AAC comme un cahier de vie numérique, ce serait chouette de pouvoir ajouter des musiques et vidéo, de pouvoir créer plusieurs albums suivant les thèmes en pouvant mettre des titres aux albums…

Pour être un moyen de com à part entière, il faudrait pouvoir ajouter ses images perso. Il faudrait aussi que la motricité permette la prise de photos de façon autonome. Même si on utilise un contacteur, il faut diriger le smartphone ou la tablette. Si l’utilisateur est autonome, il peut avoir accès à du vocabulaire en toute circonstances dans des scènes précises, un contexte précis. L’utilisateur ne pourra pas évoquer ce qu’il pense si ça n’a rien à voir avec la scène visuelle actuelle ou ses photos de la bibliothèque. S’il veut juste dire « bonjour », il ne pourra pas.

C’est pourquoi, c’est un outil supplémentaire de CAA qui mériterait d’être intégré à un outil de CAA + robuste. En plein développement, nous sommes très optimistes sur les améliorations que va nous offrir cette application géniale !