• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Thèse de Doctorat
DOI
https://doi.org/10.11606/T.55.2010.tde-23092010-170110
Document
Auteur
Nom complet
Renato Porfirio Ishii
Adresse Mail
Unité de l'USP
Domain de Connaissance
Date de Soutenance
Editeur
São Carlos, 2010
Directeur
Jury
Mello, Rodrigo Fernandes de (Président)
Sato, Liria Matsumoto
Schulze, Bruno Richard
Senger, Hermes
Ueyama, Jo
Titre en portugais
Otimização de operações de entrada e saída visando reduzir o tempo de resposta de aplicações distribuídas que manipulam grandes volumes de dados
Mots-clés en portugais
Análise de séries temporais
Computação distribuída
Otimização de acesso a dados
Sistemas de arquivos distribuídos
Resumé en portugais
Aplicações científicas atuais têm produzido volumes de dados cada vez maiores. O processamento, a manipulação e a análise desses dados requerem infraestruturas computacionais de larga escala tais como aglomerados e grades de computadores. Nesse contexto, várias pesquisas visam o aumento de desempenho dessas aplicações por meio da otimização de acesso a dados. Para alcançar tal objetivo, pesquisadores têm utilizado técnicas de replicação, migração, distribuição e paralelismo de dados. No entanto, uma das principais lacunas dessas pesquisas está na falta de emprego de conhecimento sobre aplicações com objetivo de realizar essa otimização. Essa lacuna motivou esta tese que visa empregar comportamento histórico e preditivo de aplicações a fim de otimizar suas operações de leitura e escrita sobre dados distribuídos. Os estudos foram iniciados empregando-se informações previamente monitoradas de aplicações a fim de tomar decisões relativas à replicação, migração e manutenção de consistência. Observou-se, por meio de uma nova heurística, que um conjunto histórico de eventos auxilia a estimar o comportamento futuro de uma aplicação e otimizar seus acessos. Essa primeira abordagem requer ao menos uma execução prévia da aplicação para composição de histórico. Esse requisito pode limitar aplicações reais que apresentam mudanças comportamentais ou que necessitam de longos períodos de execução para completar seu processamento. Para superar essa limitação, uma segunda abordagem foi proposta baseada na predição on-line de eventos comportamentais de aplicações. Essa abordagem não requer a execução prévia da aplicação e permite adaptar estimativas de comportamento futuro em função de alterações adjacentes. A abordagem preditiva analisa propriedades de séries temporais com objetivo de classificar seus processos geradores. Essa classificação aponta modelos que melhor se ajustam ao comportamento das aplicações e que, portanto, permitem predições com maior acurácia. As duas abordagens propostas foram implementadas e avaliadas utilizando o simulador OptorSim, vinculado ao projeto LHC/CERN, amplamente adotado pela comunidade científica. Experimentos constataram que as duas abordagens propostas reduzem o tempo de resposta (ou execução) de aplicações que manipulam grandes volumes de dados distribuídos em aproximadamente 50%
Titre en anglais
Optimization input output operations aiming at reduce execution time of distributed applications which handle large amount of data
Mots-clés en anglais
Data access optimization
Distributed computing
Distributed file system
Time series analysis
Resumé en anglais
Current scientific applications produce large amount of data and handling, processing and analyzing such data require large-scale computing infrastructure such as clusters and grids. In this context, various studies have focused at improving the performance of these applications by optimizing data access. In order to achieve this goal, researchers have employed techniques of replication, migration, distribution and parallelism of data. However, these common approaches do not use knowledge about the applications at hand to perform this optimization. This gap motivated the present thesis, which aims at applying historical and predictive behavior of applications to optimize their reading and writing operations on distributed data. Based on information previously monitored from applications to make decisions regarding replication, migration and consistency of data, a new heuristic was initially proposed. Its evaluation revealed that considering sets of historical events indeed helps to estimate the behavior of future applications and to optimize their access operations. Thus it was embedded into two optimization approaches. The first one requires at least a previous execution for the history composition. This requirement may limit real world applications which present behavioral changes or take very long time to execute. In order to overcome this issue, a second technique was proposed. It performs on-line predictions about the behavior of the applications, mitigating the need of any prior execution. Additionally, this approach considers the future behavior of an application as a function of its underlying changes. This behavior can be modeled as time series. The method works by analyzing the series properties in order to classify their generating processes. This classification indicates models that best fit the applications behavior, allowing more accurate predictions. Experiments using the OptorSim simulator (LHC/CERN project) confirmed that the proposed approaches are able to reduce the response time of applications that handle large amount of distributed data in approximately 50%
 
AVERTISSEMENT - Regarde ce document est soumise à votre acceptation des conditions d'utilisation suivantes:
Ce document est uniquement à des fins privées pour la recherche et l'enseignement. Reproduction à des fins commerciales est interdite. Cette droits couvrent l'ensemble des données sur ce document ainsi que son contenu. Toute utilisation ou de copie de ce document, en totalité ou en partie, doit inclure le nom de l'auteur.
tese.pdf (5.59 Mbytes)
Date de Publication
2010-09-23
 
AVERTISSEMENT: Le matériau se réfère à des documents provenant de cette thèse ou mémoire. Le contenu de ces documents est la responsabilité de l'auteur de la thèse ou mémoire.
  • ISHII, Renato P., RIOS, Ricardo A., and MELLO, Rodrigo F.. Classification of time series generation processes using experimental tools : a survey and proposal of an automatic and systematic approach [doi:10.1504/IJCSE.2011.043919]. International Journal of Computational Science and Engineering [online], 2011, vol. 6, n. 4, p. 217.
  • ISHII, Renato Porfirio, and FERNANDES DE MELLO, Rodrigo. An Online Data Access Prediction and Optimization Approach for Distributed Systems [doi:10.1109/TPDS.2011.256]. IEEE Transactions on Parallel and Distributed Systems [online], 2012, vol. 23, n. 6, p. 1017-1029.
  • ISHII, RENATO P., et al. Improving Scheduling of Communication Intensive Parallel Applications on Heterogeneous Computing Env [doi:10.1142/S0129626405002349]. Parallel Processing Letters [online], 2005, vol. 15, n. 4, p. 423-438.
  • DE SOUZA, Bruno, et al. Multiclass SVM Model Selection Using Particle Swarm Optimization [doi:10.1109/HIS.2006.264914]. In 2006 Sixth International Conference on Hybrid Intelligent Systems (HIS'06) [online], Rio de Janeiro, Brazil, 2006. Rio de Janeiro, Brazil : IEEE, 2006. p. 31. ISBN 0-7695-2662-4.
  • ISHII, R.P., et al. Scheduling Based on the Impact over Process Communication of Parallel Applications [doi:10.1109/HPCS.2005.46]. In 19th International Symposium on High Performance Computing Systems and Applications (HPCS'05) [online], Guelph, ON, Canada, . Guelph, ON, Canada : IEEE, 2005. p. 149-155.
  • MELLO, Rodrigo F., et al. Optimizing Distributed Data Access in Grid Environments by Using Artificial Intelligence Techniques. In STOJMENOVIC, Ivan, et al. Parallel and Distributed Processing and Applications [doi:10.1007/978-3-540-74742-0_14]. Editor. Berlin, Heidelberg : Springer Berlin Heidelberg, 2007. chap. 14. p. 125-136. Lecture Notes in Computer Science.
  • PERROTT, Ronald, et al. High Performance Computing and Communications [doi:10.1007/978-3-540-75444-2_24]. Editor. Berlin, Heidelberg : Springer Berlin Heidelberg, 2007. chap. 24, A Complex Network-Based Approach for Job Scheduling in Grid Environments, p. 204-215. Lecture Notes in Computer Science.
Tous droits de la thèse/dissertation appartiennent aux auteurs
CeTI-SC/STI
Bibliothèque Numérique de Thèses et Mémoires de l'USP. Copyright © 2001-2024. Tous droits réservés.