User Interfaces Adaptation to user emotions
Adaptation des interfaces utilisateurs aux émotions
Résumé
User interfaces adaptation by using emotions.Perso2U, an approach to personalize user interfaces with user emotions.User experience (UX) is nowadays recognized as an important quality factor to make systems or software successful in terms of user take-up and frequency of usage. UX depends on dimensions like emotion, aesthetics or visual appearance, identification, stimulation, meaning/value or even fun, enjoyment, pleasure, or flow. Among these dimensions, the importance of usability and aesthetics is recognized. So, both of them need to be considered while designing user interfaces (UI).It raises the question how designers can check UX at runtime and improve it if necessary. To achieve a good UI quality in any context of use (i.e. user, platform and environment), plasticity proposes to adapt UI to the context while preserving user-centered properties. In a similar way, our goal is to preserve or improve UX at runtime, by proposing UI adaptations. Adaptations can concern aesthetics or usability. They can be triggered by the detection of specific emotion, that can express a problem with the UI.So the research question addressed in this PhD is how to drive UI adaptation with a model of the user based on emotions and user characteristics (age & gender) to check or improve UX if necessary.Our approach aims to personalize user interfaces with user emotions at run-time. An architecture, Perso2U, has been designed to adapt the UI according to emotions and user characteristics (age and gender). Perso2U includes three main components: (1) Inferring Engine, (2) Adaptation Engine and (3) Interactive System. First, the inferring engine recognizes the user’s situation and in particular him/her emotions (happiness, anger, disgust, sadness, surprise, fear, contempt) plus neutral which are into Ekman emotion model. Second, after emotion recognition, the best suitable UI structure is chosen and the set of UI parameters (audio, Font-size, Widgets, UI layout, etc.) is computed based on such detected emotions. Third, this computation of a suitable UI structure and parameters allows the UI to execute run-time changes aiming to provide a better UI. Since the emotion recognition is performed cyclically then it allows UI adaptation at run-time.To go further into the inferring engine examination, we run two experiments about the (1) genericity of the inferring engine and (2) UI influence on detected emotions regarding age and gender.Since this approach relies on emotion recognition tools, we run an experiment to study the similarity of detecting emotions from faces to understand whether this detection is independent from the emotion recognition tool or not. The results confirmed that the emotions detected by the tools provide similar emotion values with a high emotion detection similarity.As UX depends on user interaction quality factors like aesthetics and usability, and on individual characteristics such as age and gender, we run a second experimental analysis. It tends to show that: (1) UI quality factors (aesthetics and/or usability) influences user emotions differently based on age and gender, (2) the level (high and/or low) of UI quality factors seem to impact emotions differently based on age and gender. From these results, we define thresholds based on age and gender that allow the inferring engine to detect usability and/or aesthetics problems.
L'expérience utilisateur (UX) est aujourd’hui acceptée comme un facteur de qualité important pour le succès des systèmes informatiques ou des logiciels. Elle dépend de dimensions comme l'émotion, l'esthétique, le plaisir ou la confiance. Parmi ces dimensions, l'importance de la facilité d'utilisation et de l’esthétique est reconnue. Ces deux aspects doivent donc être considérés lors de la conception d’interfaces utilisateur.Cela soulève la question de comment les concepteurs peuvent vérifier UX à l’exécution et l’améliorer si nécessaire. Pour obtenir une bonne qualité d’interface utilisateur en tout contexte d’usage (c.-à-d. utilisateur, plate-forme et environnement), la plasticité propose d’adapter l’interface utilisateur au contexte tout en préservant l’utilisabilité. De manière similaire, notre objectif est de préserver ou d’améliorer UX à l’exécution, en proposant des adaptations des interfaces utilisateur aux émotions des utilisateurs. Les adaptations peuvent concerner l’esthétique ou l’utilisabilité.Ainsi la question de recherche abordée dans ce doctorat est comment conduire l’adaptation des interfaces utilisateur avec un modèle de l’utilisateur basé sur les émotions et les caractéristiques de l’utilisateur (âge et sexe).Notre approche vise à personnaliser les interfaces utilisateurs avec les émotions de l’utilisateur au moment de l’exécution. Une architecture, Perso2U, a été conçue pour adapter les ’interfaces en fonction de leurs émotions et de leurs âge et sexe. Le Perso2U comprend trois composantes principales : (1) un moteur d’inférence, (2) un moteur d’adaptation et (3) le système interactif. Premièrement, le moteur d’inférence reconnaît la situation de l’utilisateur et en particulier ses émotions (joie, colère, dégoût, tristesse, surprise, peur, mépris) qui sont dans le modèle d’émotion Ekman plus l’émotion neutre. Deuxièmement, après l’inférence sur les émotions, la structure d’interface la mieux adaptée est sélectionnée et l’ensemble des paramètres de l’interface utilisateur (audio, taille de la police, Widgets, disposition de l’interface utilisateur, etc.) est calculé en fonction de ces émotions détectées. Troisièmement, ce calcul d’une structure d’interface utilisateur et de paramètres appropriés permet à l’interface utilisateur d’exécuter des changements à l’exécution visant à fournir une meilleure interface utilisateur. Puisque la reconnaissance des émotions est exécutée cycliquement, alors il est possible d’adapter les interfaces utilisateur à l’exécution.Puisque cette approche repose sur des outils de reconnaissance des émotions, nous avons mené une expérience pour étudier la similitude de la détection des émotions des visages à partir d’ouitls existants afin de comprendre si cette détection est indépendante de l’outil de reconnaissance des émotions ou non. Les résultats ont confirmé que les émotions détectées par les outils fournissent des valeurs émotionnelles similaires.Comme l’UX dépend de facteurs de qualité de l’interaction utilisateur comme l’esthétique et la facilité d'utilisation, et de caractéristiques individuelles telles que l’âge et le sexe, nous avons effectué une deuxième analyse expérimentale. Elle tend à montrer que : (1) les facteurs de qualité de l’interface utilisateur (esthétique et/ou utilisabilité) influencent les émotions de l’utilisateur en fonction de l’âge et du sexe, (2) le niveau (élevé et/ou faible) des facteurs de qualité de l’interface utilisateur semblent avoir une incidence différente sur les émotions selon l’âge et le sexe. À partir de ces résultats, nous définissons des seuils en fonction de l’âge et du sexe qui permettent au moteur d’inférence de détecter les problèmes d’utilisabilité et/ou d’esthétique.
Origine : Version validée par le jury (STAR)
Loading...