AUMI : Adaptive Use Musical Instruments

AUMI (Adaptive Use Musical Instrument) est un logiciel initialement pensé par Pauline Oliveros, animatrice musicale, et Leaf Miller, ergothérapeute, pour permettre à des personnes polyhandicapées de participer à des ateliers d’expression musicale et de percussion organisées par le Deep Listening Institut de New-York.
AUMI utilise la webcam de l’ordinateur pour traduire les mouvements en séquences musicales ou effets sonores quand une partie du corps traverse une zone virtuelle, paramétrable et visualisable à l’écran. Différentes activités sont proposées : gamme de notes, percussions virtuelles, restitution de fichiers midi ou sons au format wav.
Les différentes versions du logiciel créées depuis l’origine du projet en 2007 sont téléchargeables à l’adresse mentionnée ci dessous, la version présentée dans cet article est la toute dernière ayant fait l’objet d’une importante mise à jour en janvier 2020.

A l’ouverture la fenêtre du logiciel affiche cinq sections distinctes : Affichage de la caméra, Panneau de configuration, Module interaction, Module sonore, Barre de titre.

Affichage de la caméra

Sous le bouton vert « Camera », cliquer sur le bouton Marche – Arrêt pour activer la webcam. Le bouton « Settings » permettra de régler la qualité de l’image, la luminosité, le contraste, le zoom et l’affichage plein écran, si souhaité en cours d’utilisation.

Module interaction

Le module d’interaction détermine comment les mouvements de l’utilisateur déclenchent le son. Il existe trois modes d’interaction :

• • • zone tracker : affiche des bandes verticales à l’écran constituant les zones actives.

  Quand cette interaction est sélectionnée, une zone de paramétrage apparaît en bas et à gauche de l’écran permettant :

  • • • de choisir l’orientation des bandes : verticales ou horizontales,
      • de sélectionner le nombre de zones,
      • la taille de la grille,
      • les couleurs.
    • radial tracker : affiche les zones actives au sein d’un cercle style camembert.
      Paramètres de configuration identiques au mode précédent, en bas d’écran.

  Ces deux modes réagissent au déplacement d’un curseur appelé « point de suivi », obtenu en cliquant sur une zone corporelle qui contraste bien avec le reste de l’image de la caméra. Exemple : œil, nez, pulpe d’un doigt… La zone corporelle choisie est matérialisée à l’écran par un point appelé « Dot », dont la taille et la couleur sont personnalisable depuis le menu « Apparence ».

• • « relative movement »

Plus difficile à contrôler, ce mode propulse le point de suivi en fonction de la quantité et de la direction du mouvement global détecté par la caméra au lieu de suivre un point sélectionné.

Modules sonores

Le menu « Sound » situé à gauche du « Panneau de contrôle » permet de choisir le mode clavier ou le mode échantillonneur.

Mode clavier

Le clavier est l’instrument par défaut dans AUMI. Le clavier joue les notes de deux manières, selon le mode sélectionné.

Module sonore clavier

En mode Zones, le mode par défaut, chaque zone joue une note : la zone de déclenchement 1 joue la note 1, la zone 2 joue la note 2, etc. En mode Séquence, toute zone déclenchée jouera la note suivante désignée par le séquenceur de notes, cf notice.
Le menu « Category » permet de choisir le type de sons joués : les instruments – Pitched Instrument- percussions, sons rigolos – Sound FX – vos propres fichiers sonores – Choose your own – et les sorties Midi, que nous n’avons pas testé.
Le menu Instrument, permet de choisir les instruments ou fichiers sonores disponibles dans la catégorie choisie.

Mode échantillonneur (Sampler)L’échantillonneur est un instrument de lecture de base qui contient jusqu’à 8 sons, par défaut des sons de percussion, permettant de charger des sons personnalisé importés depuis l’ordinateur depuis le bouton « Load Soundfile », par exemple un fichier MP3.

Sauvegarde d’un profil

Depuis le panneau de configuration, le menu « Preset » permet d’enregistrer différents profils mémorisant l’ensemble des réglages avec possibilité de les modifier ensuite et de les exporter vers un autre ordinateur.

L’utilisation de ce logiciel est suffisamment simple pour obtenir rapidement de premiers résultats. Souris en main, vous découvrirez progressivement et intuitivement les multiples facettes de cet étonnant logiciel.
Celui-ci s’inscrit dans la continuité de l’apprentissage de la relation cause à effet auprès d’enfants ou adolescents qui éprouvent de la difficulté à utiliser des contacteurs, pour jouer à reproduire des sons, ou pourquoi pas, reproduire des effets intentionnels dans une chorégraphie de groupe.
Les réglages de la caméra permettront de filmer une personne entière afin de capter sa motricité globale, ou au contraire une partie précise du corps comme le visage, la main, un membre inférieur… en utilisant la fonction zoom de la webcam ou même une caméra externe déportée.
Des facteurs environnementaux peuvent influencer le comportement de la caméra : la lumière ambiante, un arrière plan, de même qu’il est plus facile de suivre le mouvement quand l’utilisateur porte un vêtement de couleur unie plutôt que des couleurs vives ou un motif chargé.Une version d’AUMI est également disponible en téléchargement gratuit sous IOS pour iPad : aumiapp.com/AUMI-2.0.php
App Store : apps.apple.com/us/app/aumi/id647002265

AUMI, catégories et instruments : un choix important de sonorités pour tous les goûts