Dissertação de Mestrado

As digital content catalogs continue to grow, recommendation systems have become essential for helping users navigate large collections of music, products, videos, and other items while mitigating information overload. In the music domain, recommendation systems play a central role on platforms such as YouTube Music, Spotify, and Deezer, assisting users in discovering relevant songs, artists, and playlists from vast catalogs. Despite their importance, these systems still face significant limitations by failing to consider contextual factors, such as user activity, intention, and emotion. These factors are critical for identifying potentially more relevant music, enabling more personalized, accurate, and context-aware suggestions. The main challenge is the lack of effective mechanisms to obtain and utilize such contextual data in existing systems. Motivated by this setting, this thesis investigates reinforcement learning with autoencoder techniques as a means to learn hidden contextual factors in music recommender systems, modeling the problem as a Partially Observable Markov Decision Process (POMDP). To this end, we propose Partially Observable Reinforcement Learning Framework for Contextual Recommendations (POCoRec), a modular framework that integrates autoencoder-based latent representations into state-of-the-art reinforcement learning recommender systems, enabling online hidden context learning through an actorcritic formulation. The framework supports different autoencoder architectures, including Denoising Autoencoder (DAE), Variational Autoencoder (VAE), and Mixture Attentional Constrained Denoise AutoEncoder (MACDAE), as well as distinct reconstruction feature types, allowing the state representation to be adapted to the available contextual signals. The proposed approach is evaluated on the SiTunes and InCarMusic datasets, which provide situational and emotional context for music recommendation. Experimental results show that POCoRec consistently improves recommendation quality over strong baselines, including DRR-U, DRR-ATT, GRU4REC, SASRec, and Caser. Across the evaluated datasets, POCoRec achieves average improvements of up to 14% and 40% in Normalized Discounted Cumulative Gain (NDCG), 19% and 186% in Mean Average Precision (MAP), and 13% and 321% in Precision (Prec) relative to the baselines, where the reported values correspond to the average gains across all evaluated baseline methods on the real-world and synthetic datasets, respectively. The results further indicate that these gains persist even when explicit contextual information is available, suggesting that autoencoder-based latent representations capture complementary information that strengthens the recommendation process. Overall, the results demonstrate that reinforcement learning combined with autoencoder-based latent state representations constitutes a promising direction for context-aware music recommendation under partial observability. By modeling recommendation as a sequential decision-making problem and learning belief-state representations from user interactions using autoencoder-based techniques, POCoRec enhances the ability of recommender systems to capture hidden contextual dynamics beyond explicitly available information.

À medida que os catálogos de conteúdo digital continuam a crescer, os sistemas de recomendação tornaram-se essenciais para auxiliar os usuários na navegação por grandes coleções de músicas, produtos, vídeos e outros itens, ao mesmo tempo em que mitigam o problema da sobrecarga de informação. No domínio musical, os sistemas de recomendação desempenham um papel central em plataformas como YouTube Music, Spotify e Deezer, auxiliando os usuários na descoberta de músicas, artistas e playlists relevantes em meio a extensos catálogos. Apesar de sua importância, esses sistemas ainda enfrentam limitações significativas por não considerarem fatores contextuais, como atividade, intenção e emoção do usuário. Esses fatores são fundamentais para identificar músicas potencialmente mais relevantes, possibilitando recomendações mais personalizadas, precisas e sensíveis ao contexto. O principal desafio está na ausência de mecanismos eficazes para obter e utilizar tais dados contextuais nos sistemas existentes. Motivada por esse cenário, esta dissertação investiga o uso de aprendizado por reforço combinado com técnicas de autoencoder como meio de aprender fatores contextuais ocultos em sistemas de recomendação musical, modelando o problema como um Partially Observable Markov Decision Process (POMDP). Para isso, propomos o Partially Observable Reinforcement Learning Framework for Contextual Recommendations (POCoRec), um framework modular que integra representações latentes baseadas em autoencoders a sistemas de recomendação por aprendizado por reforço de estado da arte, permitindo o aprendizado online de contexto oculto por meio de uma formulação actor-critic. O framework suporta diferentes arquiteturas de autoencoder, incluindo Denoising Autoencoder (DAE), Variational Autoencoder (VAE) e Mixture Attentional Constrained Denoise AutoEncoder (MACDAE), bem como distintos tipos de features de reconstrução, permitindo que a representação de estado seja adaptada aos sinais contextuais disponíveis. A abordagem proposta é avaliada nos conjuntos de dados SiTunes e InCarMusic, que fornecem informações contextuais situacionais e emocionais para recomendação de músicas. Os resultados experimentais mostram que o POCoRec melhora consistentemente a qualidade das recomendações em comparação com fortes métodos de referência, incluindo DRR-U, DRR-ATT, GRU4REC, SASRec e Caser. Considerando os conjuntos de dados avaliados, o POCoRec alcança melhorias médias de até 14% e 40% em Normalized Discounted Cumulative Gain (NDCG), 19% e 186% em Mean Average Precision (MAP), e 13% e 321% em Precision (Prec) em relação aos métodos de referência, considerando a média dos ganhos obtidos sobre todos os métodos avaliados nos conjuntos de dados reais e sintéticos, respectivamente. Os resultados também indicam que esses ganhos persistem mesmo quando informações contextuais explícitas estão disponíveis, sugerindo que representações latentes baseadas em autoencoders capturam informações complementares que fortalecem o processo de recomendação. De forma geral, os resultados demonstram que a combinação de aprendizado por reforço com representações latentes de estado baseadas em autoencoders constitui uma direção promissora para recomendação musical sensível ao contexto sob observabilidade parcial. Ao modelar a recomendação como um problema de tomada de decisão sequencial e aprender representações de estado de crença a partir das interações dos usuários utilizando técnicas baseadas em autoencoders, o POCoRec amplia a capacidade dos sistemas de recomendação de capturar dinâmicas contextuais ocultas além das informações explicitamente disponíveis.