O estado emocional dos usuários influencia na tomada de decisão e é essencial para o conhecimento e explicação do comportamento dos usuários com aplicações computacionais. Sistemas computacionais fazem parte da vida cotidiana, influenciando o comportamento humano e estimulando mudanças nos estados emocionais. A avaliação das emoções dos usuários, durante a interação com aplicações computacionais, pode ajudar a fornecer interfaces flexíveis e melhores sistemas de recomendação. No entanto, as emoções são complexas e difíceis de identificar ou avaliar. Pesquisas anteriores demonstraram que o uso de sensores individuais, em um cenário do mundo real, não fornece uma avaliação emocional precisa. Acredita-se que somente uma visão holística pode permitir tirar conclusões significativas sobre o estado emocional dos usuários. Assim, nesta Tese, propõe-se uma abordagem chamada UserSense, que considera vários sensores para estimar os estados emocionais dos usuários em tempo de interação. A abordagem proposta, a partir de múltiplos sensores, considera várias entradas de usuários (como a fala, movimentos faciais, frequência cardíaca e atividades) e utiliza métodos de inteligência artificial para mapear essas diferentes respostas em um ou mais estados emocionais. Para a validação, os dados coletados pelos sensores durante a interação do usuário foram confrontados com os dos especialistas (psicólogos). A Teoria Componencial das Emoções e o Espaço Emocional Semântico de Scherer são utilizados na fundamentação teórica da abordagem UserSense que, baseada no Middleware Adaptativo OpenCom, incorpora funcionalidades para carregar e descarregar novos recursos, necessários a infraestrutura proposta. Os resultados experimentais mostram que a combinação de resultados gerados por vários sensores, fornece uma avaliação mais precisa dos estados emocionais do que considerar sensores individualmente.

Users emotional state influence decision making and is essential for the knowledge and explanation of users behavior with computer applications. Computer systems are part of everyday life, influencing human behavior and stimulating changes in users emotional states. The assessment of users emotions during interaction with computer applications can help to provide tailorable interfaces and better recommendations systems. However, emotions are complex and difficult to identify or assess. Previous studies have shown that the use of single sensors, in a real-world scenario, does not provide accurate emotional assessment. We believe that only this holistic view can allow us to draw significant conclusions about the users emotional states. Hence, in this Thesis we propose a approach called UserSense, that takes into account multiple sensors to estimate the users emotional states at interaction time. The proposed multi-sensing approach considers several inputs from users (such as speech, facial movements, heart rate and activities), and uses artificial intelligent methods to map these different responses into one or more emotional states; for validation, the data collected by the sensors during the user interaction were confronted with specialists (psychologists). Componential Emotion Theory and Scherers Emotional Semantic Space are used in the theoretical foundation of the UserSense approach, that takes into account Adaptive Middleware OpenCom to embed functionalities to load and unload new required features to proposed infrastructure. The experimental results show that the combination of outputs generated by multiple sensors provides a more accurate assessment of emotional states than considering sensors individually.