Lemma

Lemma est une application de communication pictographique qui s’appuie sur l’intelligence artificielle et sur des algorithmes de grammaticalisation. Elle s’installe sur iPad et est destinée aux adultes et enfants avec troubles sévères de la communication.

Cette application de communication est développée par Fanny Oliveira et François Liger et co-construite avec des logopèdes / orthophonistes, des ergothérapeutes, des utilisateurs…

Le graphisme des pictogrammes proposés permet une utilisation transgénérationnelle. La grille circulaire assure un accès ergonomique et les fonctionnalités comme les continuations ou le redressement impliquent une utilisation simple, rapide et intuitive. L’application se personnalise aux habitudes linguistiques de son utilisateur au fur et à mesure de l’usage.

Installation

Lemma s’installe sur iPad OS version 16 minimum, via l’App Store ( https://apps.apple.com/fr/app/lemma/id6469644759). Une fois installée, Lemma fonctionne hors connexion Internet, en autonomie. On peut utiliser un  appareil plus ancien (liste des appareils compatibles disponible ici) ou acheter un iPad reconditionné. L’utilisateur, l’aidant ou le professionnel peut ensuite créer un compte en suivant le pas à pas proposé. Un professionnel peut également, à partir de son propre compte, créer différents comptes personnalisés pour différents patients.

A l’ouverture de Lemma une interface épurée propose :

• 3 modes de communication : pictographique, alphabétique, libre avec le tableau blanc.
• 3 onglets : Préférences, Personnalisation et Aide

Avant d’aller plus loin, il est important de comprendre de présenter la philosophie et les ressorts de l’application.

Présentation

La conception globale de l’application, que ce soit son ergonomie ou le travail de l’intelligence artificielle, vise :

• pour l’utilisateur :
  • à minimiser la charge cognitive : moins d’exploration visuelle et pas de nécessité de mémoriser les emplacements des pictogrammes,
  • à diminuer l’implication motrice des membres supérieurs : cf. description de l’application de communication pictographique,
  • à accéder à une communication riche, grammaticalement correcte, rapide, et adaptée à son contexte de vie.
• pour les aidants et les professionnels : à minimiser les temps de paramétrage et de conception de grilles de communication.

Lemma propose une version découverte gratuite et sans durée limitée, version suffisante pour se faire une idée. Dans le mode découverte vous aurez uniquement accès à la communication pictographique et au tableau blanc. Le clavier textuel est accessible uniquement dans la version payante. Le choix de vocabulaire est restreint (87 concepts disponibles sur les 1500 proposés par l’application pour l’instant) et on ne peut pas ajouter son propre vocabulaire. La personnalisation reste possible en choisissant le pictogramme ou la photo en lien avec chacun des concepts. Le mode découverte se décline sur 7 niveaux de difficultés linguistiques qui permettent une prise en main évolutive. Des vidéos de présentations sont disponibles dans l’onglet « Aide ».

Il est possible de rester sur cette version simplifiée pour des communicateurs émergents ou de migrer ensuite vers la version payante tout en conservant les paramétrages. Cette version ouvre l’accès à toutes les fonctionnalités sans limitation de durée.

Lemma, la communication pictographique autrement

Des trois modes de communication proposés, c’est la communication pictographique qui surprend le plus. La banque de pictogramme est spécifique à Lemma. Elle propose des images dont le graphisme ouvre l’utilisation à différentes catégories d’âge. Les pictogrammes sont organisés en une grille unique circulaire. Pour la construction de la phrase, on place le doigt au milieu de la cible et on le glisse vers les concepts / pictogrammes choisis. Le redressement linguistique compose une phrase grammaticalement et linguistiquement correcte. L’oralisation se fait en cliquant sur le bouton central ou dans la barre de texte.

Nous allons ci-dessous préciser les éléments essentiels à la compréhension du fonctionnement global de cette application de communication.

Les concepts (« part of speech »)

Derrière chaque pictogramme, on trouve un concept. C’est à dire que l’image est associée non seulement à un mot mais un ensemble de données : la nature, le genre, le nombre, le besoin ou non d’élision, le sens, la représentation phonétique des syllabes, etc… Les algorithmes peuvent alors proposer une grammaticalisation extrêmement poussée lors de la saisie de plusieurs concepts.

Les contextes d’usage

Lemma s’appuie sur des contextes d’usage, c’est-à-dire des grilles de communication pictographiques ne contenant que les concepts nécessaires dans certaines situations. Par exemple, si je vais à la boulangerie, je peux choisir ce contexte « Boulangerie – Pâtisserie » et n’y retrouver que les pictogrammes qui m’intéressent : pain, croissant, pain au chocolat, etc… Ces contextes sont donc comme des filtres que l’on vient appliquer au contexte général pour n’accéder qu’aux pictogrammes adaptés à la situation.

On accède à ces différents contextes via la page des contextes en appuyant sur le bouton ci dessous :

En allant dans Personnalisation (depuis la page d’accueil) > Mes contextes, on peut créer ou supprimer un contexte personnalisé.

Le contexte général correspond à l’ensemble des pictogrammes / concepts présents dans l’application.

Le contexte automatique se génère par apprentissage des phrases construites par l’utilisateur. On y retrouvera uniquement les pictogrammes utilisés jusqu’alors. Il peut à tout moment être figé ou réinitialisé à partir du menu « Préférences » accessible depuis la page d’accueil.

C’est une fonctionnalité intéressante pour un thérapeute. Lors d’une séance, on peut démarrer par la réinitialisation du contexte automatique, utiliser le vocabulaire spécifique au cours de la séance, par exemple les concepts à utiliser lors de l’activité « aller au parc ». En fin de séance, on peut créer un contexte « Parc » à partir du contexte automatique. Pour cela, allez dans « Personnalisation > Mes contextes > + > créer un contexte à partir du contexte automatique ». Un vrai gain de temps pour les professionnels.

Le redressement linguistique, + que de la grammaire automatique

On peut parler de redressement linguistique en temps réel. L’utilisateur se focalise sur le sens et non la forme du message. Pour faire une  phrase, on sélectionne les concepts et Lemma se charge de la conjugaison et petits mots de transition. La sélection de 3 concepts : « je » + « être » + « mer » donne la phrase « je suis à la mer » et si on rajoute « hier » ou « demain », le temps du verbe se modifie automatiquement.

3 options peuvent être choisies : phrase interrogative ou affirmative (point), phrase positive (tilde) ou négative, temps et mode des verbes (flèche vers le bas pour le présent de l’indicatif).

L’autorisation du changement de mode, de temps ou de négation est personnalisable dans les Préférences.

Lorsque « AutoPolite » est activé dans les Préférences, le langage courtois se construit : « je veux … » devient automatiquement « je voudrais… », « s’il te plaît » et « s’il vous plaît » sont proposés…

On peut choisir d’associer un code-couleur grammatical : Fitzgerald, Goosens ou Montessori. Il ne faut pas hésiter à aller voir notre Fiche Technique sur les color coding systems

Les continuations intelligentes

La prédiction permet d’augmenter la rapidité de création d’un message. On parle ici de continuations intelligentes. La recherche est conceptuelle. Les mots les plus fréquents se rapprochent du centre. Par exemple, le verbe boire entraine des propositions de boissons entre autres et de concepts autour de l’idée de boire (où ?, quand ?…). Ce changement de position permet de construire des messages très rapidement, sans difficulté, de manière très intuitive.

La position des pictogrammes n’est donc pas stable comme dans les autres applications de CAA car la position va dépendre du mot précédent.

On peut figer les continuations à tout moment en désactivant l’option « Apprendre de mon usage pour rapprocher les mots les plus utilisés du centre de la grille » dans les Préférences > Continuations. Le système apprend de l’usage de son utilisateur pour prédire la suite du message.

Focus fonctionnalités

On a choisi de décrire ici certaines fonctionnalités.

Les niveaux de vocabulaire

Dans la version définitive, en fonction des capacités langagières de l’utilisateur, différents niveaux de vocabulaire pourront être paramétrés.

La multimodalité

Parce que la multimodalité est fondamentale pour communiquer, l’application permet d’utiliser les pictogrammes, le langage écrit ou un tableau blanc. L’utilisation du tableau blanc permet d’écrire (même quelques lettres si le mot entier ne peut pas être écrit, l’interlocuteur devinera) ou de dessiner si le pictogramme souhaité n’est pas trouvé ou n’existe pas. On accède au tableau blanc directement depuis l’écran d’accueil du patient ou depuis l’écran de la grille des pictogrammes : flèche en haut à gauche > rectangle avec vagues en haut à droite.

La création de raccourcis

Afin de gagner encore du temps, il est possible de créer des raccourcis à partir de différents concepts. Ainsi, un picogramme renvoie automatiquement à la fin de la phrase enregistrée comme raccourci. Par exemple, si l’utilisateur demande souvent du café, on peut créer le raccourci « Je voudrais du café, s’il te plait ». Pour créer un raccourci, on construit la phrase souhaitée en juxtaposant les concepts. Ici : « Je veux » + « café »+ « s’il te plaît », on obtient la phrase « Je voudrais du café, s’il te plaît ». Si on veut sauvegarder cette phrase en raccourci, on appuie sur l’icône de la flèche puis sur le + avec une étoile puis on choisit le pictogramme à associer : picto Lemma, prendre une photo directement ou importer une image personnelle. Ici, on choisit le pictogramme Lemma de la tasse de café par exemple. A l’appui sur ce pictogramme dénommé maintenant « Je voudrais… », le reste de la phrase suivra.

Les raccourcis ne sont pas figés, ils peuvent passer au négatif s’ils étaient affirmatifs, s’adapter au changement de temps verbal si on ajoute un pronom circonstanciel de temps…

En allant dans « Personnalisation«  depuis la page d’accueil > « Mes Raccourcis » (en bas), on retrouve tous les raccourcis qu’on a déjà créés.

Accessibilité

Il est tout à fait possible de bénéficier de l’ensemble des outils d’accessibilité de l’iPad : choix de la voix de synthèse, gestion des exceptions de prononciation, défilement et validation avec contacteur, apparence, etc

Enfin, nous avons également testé la commande oculaire Hiru d’IRISBOND qui est parfaitement compatible avec l’application.

Conclusion

Lemma est une application pictographique de CAA innovante et puissante par différentes fonctionnalités et sa grille circulaire pour une bonne ergonomie.

La communication se fait par enchainement de concepts. Lemma gère la bonne construction de la phrase. Le redressement linguistique en temps réel gère non seulement les temps et les modes des verbes mais aussi les petits mots (déterminants, mots de transition …).

Nous avons l’habitude de la prédiction dans les applications alphabétiques de communication. Plus que la prédiction, Lemma propose les continuations intelligentes pour communiquer avec des pictogrammes, ce qui est très innovant car ça n’existait pas encore.

Quel gain de temps pour construire les messages !

L’utilisation de contextes personnalisés permet d’augmenter encore la rapidité de la communication. Les concepts proposés seront en rapport avec le contexte de communication.

Au fur et à mesure de l’usage, l’application se personnalise à la communication de son utilisateur.

Le clavier et l’ardoise blanche permettent d’utiliser un autre canal de communication que les pictogrammes répondant au principe de multimodalité.

Nous mettons un petit bémol sur le nombre de concepts disponibles initialement qui peut paraître un peu restreint. Gageons que les mises à jour à venir permettront d’augmenter sensiblement la quantité de concepts accessibles. Avec le contexte général, il n’est pas toujours évident pour l’utilisateur de retrouver le pictogramme souhaité, d’où l’intérêt des contextes personnalisés ou l’emploi du puissant moteur de recherche.

Reconnue dispositif médical certifié CE, cette application répond aux besoins en CAA. Afin de pouvoir emmener son outil de communication partout, il est important de penser à équiper la tablette d’une protection : pochette simple ou coque renforcée, voire d’une coque de protection dédiée de type Rehadapter pour bénéficier d’une amplification du son et d’une poignée de transport.

Lemma a pour projet de proposer de nombreuses autres fonctionnalités : accès à la communication alphabétique, accès à des activités de rééducation…

Le TechLab suivra le développement et ne manquera pas de vous informer.

Un grand merci à Fanny Oliveira et François Liger pour leur  disponibilité et bravo pour cette grande application !

A suivre absolument !