ɬ�﷬

Introduction/Aperçu général

Le timbre est généralement décrit à l'aide de termes liés à la vision et au toucher. La brillance auditive fait partie des «  métaphores que nous utilisons pour écouter » les plus étudiées et sans doute parmi les repères musicaux les plus importants activement façonnés par les interprètes, les compositeurs et les ingénieurs du son. Sur le plan psychoacoustique, les sons décrits comme « brillants » par opposition à « ternes » ou « sombres » présentent généralement une emphase sur les hautes fréquences par opposition aux basses fréquences dans le spectre. Cependant, on en sait relativement peu sur les mécanismes neurocognitifs qui facilitent l'utilisation d'une qualité visuelle pour parler de quelque chose qui sonne. Notre projet vise à étudier le mécanisme neuronal par lequel le timbre active une correspondance sémantique entre les modalités auditive et visuelle lorsqu'un son est décrit comme brillant à l'aide de l'imagerie par résonance magnétique fonctionnelle (IRMf). Est-il plausible que ce mécanisme trouve son origine dans des représentations mentales universelles communes à plusieurs modalités sensorielles ?

Étude pilote comportementale

En triangulant trois paradigmes d'interaction différents, nous avons étudié, à l'aide d'une identification rapide, si une interférence unimodale et crossmodale se produit lorsque la brillance timbrale, modélisée par le centroïde de l'enveloppe spectrale, et 1) la hauteur du son, 2) la brillance visuelle, 3) le traitement de la valeur numérique sont sémantiquement incongruents. Dans le cadre de quatre expériences pilotes en ligne variant en termes de priming, de timing de début et de délai, 58 participants ont été exposés à un stimulus de référence (une hauteur tonale, un carré gris ou un chiffre), puis invités à identifier rapidement un stimulus cible respectivement plus haut/plus bas, plus clair/plus sombre ou plus grand/plus petit que le stimulus de référence, après avoir été exposés à un son harmonique synthétique clair ou sombre. De plus, dans les tâches relatives à la hauteur tonale et à la vision, une condition trompeuse de même cible a été incluse. Chaque expérience comportait deux stimuli de référence et donc un total de quatre cibles (deux par référence). Les stimuli audio étaient des complexes harmoniques additifs allant jusqu'à 10 kHz.

Résultats comportementaux

Vue d'ensemble :

Nous avons découvert que la luminosité timbrale module la perception de la hauteur tonale et de la luminosité visuelle, mais pas la valeur numérique.

Interférence intramodale :

Les changements de hauteur tonale et de brillance timbrale sémantiquement incongruents ont entraîné un temps de réaction significativement plus lent et un taux d'erreur plus élevé que les paires congruentes ; la brillance timbrale a également eu un fort effet de biais dans la condition « même cible » (c'est-à-dire que les personnes ont perçu la même hauteur tonale comme plus aiguë lorsque la tonalité cible était plus brillante que la tonalité de référence, et inversement avec les tonalités plus graves).

• La brillance timbrale influence les comparaisons de hauteur tonale (Exp. 1)

RT: 𝜒2 = 67.5, p < .0001; précision: 𝜒2 = 199.4, p < .0001

• Les différences de hauteur tonale influencent les comparaisons de brillance timbrale (Exp. 4)

RT: 𝜒2 = 34.8, p < .0001; précision: 𝜒2 = 166.7, p < .0001 

Interférence crossmodale :

Dans la tâche visuelle, les associations incongrues de carrés gris et de tons ont entraîné des temps de réaction plus lents que les associations congruentes.

• Interactions visuelles * timbrales dans les expériences 1 et 3, respectivement

RT: 𝜒2 = 4.73, p = .03; et 𝜒2 = 10.5, p = .001

• Interactions non significatives dans les expériences 2 et 4 ; aucun effet sur la précision des réponses.

Aucune interférence n'a été observée dans la tâche de comparaison des nombres.

• Tâche de valeur numérique : null (Exp : 1–3)

Nous poursuivons actuellement ces résultats avec une étude d'imagerie par résonance magnétique fonctionnelle (IRMf) utilisant une luminosité sonore et visuelle modifiée afin d'étudier les mécanismes neuronaux pertinents.
Nos recherches mettent en lumière la nature multisensorielle de l'expérience du timbre.