• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Mémoire de Maîtrise
DOI
https://doi.org/10.11606/D.100.2019.tde-15042019-175412
Document
Auteur
Nom complet
André Paulino de Lima
Adresse Mail
Unité de l'USP
Domain de Connaissance
Date de Soutenance
Editeur
São Paulo, 2019
Directeur
Jury
Silva, Valdinei Freire da (Président)
Cozman, Fabio Gagliardi
Gonçalves, Marcos André
Paraboni, Ivandre
Titre en anglais
Limits to surprise of recommender systems
Mots-clés en anglais
Beyond-accuracy Objectives
Evaluation Method
Evaluation Metrics
Filter Bubble
Off-line Evaluation
One Plus Random
Over-specialisation
Pairwise Distance Distribution
Recommender Systems
Serendipity
Surprise
Unexpectedness
Resumé en anglais
Surprise is an important component of serendipity. In this research, we address the problem of measuring the capacity of a recommender system at embedding surprise in its recommendations. We show that changes in surprise of an item owing to the growth in user experience, as well as to the increase in the number of items in the repository, are not taken into account by the current metrics and evaluation methods. As a result, in so far as the time elapsed between two measurements grows, they become increasingly incommensurable. This poses as an additional challenge in the assessment of the degree to which a recommender is exposed to unfavourable conditions, such as over-specialisation or filter bubble. We argue that a) surprise is a finite resource in any recommender system, b) there are limits to the amount of surprise that can be embedded in a recommendation, and c) these limits allow us to create a scale up in which two measurements that were taken at different moments can be directly compared. By adopting these ideas as premises, we applied the deductive method to define the concepts of maximum and minimum potential surprises and designed a surprise metric called "normalised surprise" that employs these limits. Our main contribution is an evaluation method that estimates the normalised surprise of a system. Four experiments were conducted to test the proposed metrics. The aim of the first and the second experiments was to validate the quality of the estimates of minimum and maximum potential surprise values obtained by means of a greedy algorithm. The first experiment employed a synthetic dataset to explore the limits to surprise to a user, and the second one employed the Movielens-1M to explore the limits to surprise that can be embedded in a recommendation list. The third experiment also employed the Movielens-1M dataset and was designed to investigate the effect that changes in item representation and item comparison exert on surprise. Finally, the fourth experiment compares the proposed and the current state-of-the-art evaluation method in terms of their results and execution times. The results obtained from the experiments a) confirm that the quality of the estimates of potential surprise are adequate for the purpose of evaluating normalised surprise; b) show that the item representation and comparison model that is adopted has a strong effect on surprise; and c) indicate an association between high degrees of surprise and negatively skewed pairwise distance distributions, and also indicate a significant difference in the average normalised surprise of recommendations produced by a factorisation algorithm when the surprise employs the cosine or the Euclidean distance
Titre en portugais
Limites de surpresa de Sistemas de Recomendação
Mots-clés en portugais
Avaliação Off-Line
Distribuição de Distância entre Pares
Filtro Invisível
Método de Avaliação
Métrica
Objetivos Além da Acurácia
One Plus Random
Serendipidade
Sistemas de Recomendação
Superespecialização
Surpresa
Resumé en portugais
A surpresa é um componente importante da serendipidade. Nesta pesquisa, abordamos o problema de medir a capacidade de um sistema de recomendação de incorporar surpresa em suas recomendações. Mostramos que as mudanças na surpresa de um item, devidas ao crescimento da experiência do usuário e ao aumento do número de itens no repositório, não são consideradas pelas métricas e métodos de avaliação atuais. Como resultado, na medida em que aumenta o tempo decorrido entre duas medições, essas se tornam cada vez mais incomensuráveis. Isso se apresenta como um desafio adicional na avaliação do grau em que um sistema de recomendação está exposto a condições desfavoráveis como superespecialização ou filtro invisível. Argumentamos que a) surpresa é um recurso finito em qualquer sistema de recomendação; b) há limites para a quantidade de surpresa que pode ser incorporada em uma recomendação; e c) esses limites nos permitem criar uma escala na qual duas medições que foram tomadas em momentos diferentes podem ser comparadas diretamente. Ao adotar essas ideias como premissas, aplicamos o método dedutivo para definir os conceitos de surpresa potencial máxima e mínima e projetar uma métrica denominada "surpresa normalizada", que emprega esses limites. Nossa principal contribuição é um método de avaliação que estima a surpresa normalizada de um sistema. Quatro experimentos foram realizados para testar as métricas propostas. O objetivo do primeiro e do segundo experimentos foi validar a qualidade das estimativas de surpresa potencial mínima e máxima obtidas por meio de um algoritmo guloso. O primeiro experimento empregou um conjunto de dados sintético para explorar os limites de surpresa para um usuário, e o segundo empregou o Movielens-1M para explorar os limites da surpresa que pode ser incorporada em uma lista de recomendações. O terceiro experimento também empregou o conjunto de dados Movielens-1M e foi desenvolvido para investigar o efeito que mudanças na representação de itens e na comparação de itens exercem sobre a surpresa. Finalmente, o quarto experimento compara os métodos de avaliação atual e proposto em termos de seus resultados e tempos de execução. Os resultados que foram obtidos dos experimentos a) confirmam que a qualidade das estimativas de surpresa potencial são adequadas para o propósito de avaliar surpresa normalizada; b) mostram que o modelo de representação e comparação de itens adotado exerce um forte efeito sobre a surpresa; e c) apontam uma associação entre graus de surpresa elevados e distribuições assimétricas negativas de distâncias, e também apontam diferenças significativas na surpresa normalizada média de recomendações produzidas por um algoritmo de fatoração quando a surpresa emprega a distância do cosseno ou a distância Euclidiana
 
AVERTISSEMENT - Regarde ce document est soumise à votre acceptation des conditions d'utilisation suivantes:
Ce document est uniquement à des fins privées pour la recherche et l'enseignement. Reproduction à des fins commerciales est interdite. Cette droits couvrent l'ensemble des données sur ce document ainsi que son contenu. Toute utilisation ou de copie de ce document, en totalité ou en partie, doit inclure le nom de l'auteur.
Date de Publication
2019-06-12
 
AVERTISSEMENT: Apprenez ce que sont des œvres dérivées cliquant ici.
Tous droits de la thèse/dissertation appartiennent aux auteurs
CeTI-SC/STI
Bibliothèque Numérique de Thèses et Mémoires de l'USP. Copyright © 2001-2024. Tous droits réservés.