Unraveling dyadic psycho-physiology of social presence between strangers during an audio drama - a signal-analysis approach.

Résumé

A mere co-presence of an unfamiliar person may modulate an individual's attentive engagement with specific events or situations to a significant degree. To understand better how such social presence affects experiences, we recorded a set of parallel multimodal facial and psychophysiological data with subjects ( = 36) who listened to dramatic audio scenes alone or when facing an unfamiliar person. Both a selection of 6 s affective sound clips (IADS-2) followed by a 27 min soundtrack extracted from a Finnish episode film depicted familiar and often intense social situations familiar from the everyday world. Considering the systemic complexity of both the chosen naturalistic stimuli and expected variations in the experimental social situation, we applied a novel combination of signal analysis methods using inter-subject correlation (ISC) analysis, Representational Similarity Analysis (RSA) and Recurrence Quantification Analysis (RQA) followed by gradient boosting classification. We report our findings concerning three facial signals, gaze, eyebrow and smile that can be linked to socially motivated facial movements. We found that ISC values of pairs, whether calculated on true pairs or any two individuals who had a partner, were lower than the group with single individuals. Thus, audio stimuli induced more unique responses in those subjects who were listening to it in the presence of another person, while individual listeners tended to yield a more uniform response as it was driven by dramatized audio stimulus alone. Furthermore, our classifiers models trained using recurrence properties of gaze, eyebrows and smile signals demonstrated distinctive differences in the recurrence dynamics of signals from paired subjects and revealed the impact of individual differences on the latter. We showed that the presence of an unfamiliar co-listener that modifies social dynamics of dyadic listening tasks can be detected reliably from visible facial modalities. By applying our analysis framework to a broader range of psycho-physiological data, together with annotations of the content, and subjective reports of participants, we expected more detailed dyadic dependencies to be revealed. Our work contributes towards modeling and predicting human social behaviors to specific types of audio-visually mediated, virtual, and live social situations.

Hypothèses

1) La configuration en paire augmente la synchronisation des signaux faciaux entre les sujets (hypothèse infirmée).
2) La présence d'un partenaire génère des variations dynamiques plus riches et complexes.
3) Un algorithme peut identifier si un signal provient d’un sujet seul ou en paire grâce aux propriétés de récurrence du signal.

Population

36 femmes parlant finnois (20-47 ans), réparties équitablement en deux groupes : 18 participantes seules (SS) et 18 participantes en paires de deux inconnues face à face (SP).

Variables

Variable Indépendante : La condition sociale d'écoute (Seule vs En Paire).
Variables Dépendantes : L'angle du regard, le mouvement des sourcils et l'expression du sourire.

Protocole utilisé

Les participantes écoutent d'abord de courts extraits sonores affectifs (IADS-2), puis un récit audio dramatique continu de 27 minutes. Le groupe en paire doit maintenir un contact visuel et être attentif aux émotions de l'autre sans parler. Une évaluation continue des émotions est réalisée après l'écoute.

Outils de mesure

Captation vidéo par capteurs Microsoft Kinect 2.0 (30 Hz) et extraction des mouvements faciaux via le logiciel IntraFace. Analyses mathématiques de synchronie temporelle (ISC), de similitude (RSA) et de dynamique non linéaire (RQA), suivies d'une classification par apprentissage automatique (CatBoost).

Résultats principaux

Les sujets seuls réagissent de façon plus synchrone, dictée par l'audio.

Les sujets en paire affichent une dynamique comportementale unique à leur dyade (communication non verbale plutôt que simple imitation).

L'algorithme réussit à classifier le contexte (seul vs en paire) avec 67 % à 75 % de précision, le regard étant le prédicteur le plus puissant.

Conclusions des auteurs

La présence visuelle d'un inconnu modifie profondément l'attention et les réactions physiologiques face à un stimulus. Ce contexte social "écrase" la synchronisation de groupe au profit d'un dialogue non verbal propre au binôme. Cette méthode d'analyse automatique ouvre des perspectives majeures pour la robotique sociale et l'interaction homme-machine.

Notes associées