• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tesis Doctoral
DOI
https://doi.org/10.11606/T.55.2010.tde-23092010-170110
Documento
Autor
Nombre completo
Renato Porfirio Ishii
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Carlos, 2010
Director
Tribunal
Mello, Rodrigo Fernandes de (Presidente)
Sato, Liria Matsumoto
Schulze, Bruno Richard
Senger, Hermes
Ueyama, Jo
Título en portugués
Otimização de operações de entrada e saída visando reduzir o tempo de resposta de aplicações distribuídas que manipulam grandes volumes de dados
Palabras clave en portugués
Análise de séries temporais
Computação distribuída
Otimização de acesso a dados
Sistemas de arquivos distribuídos
Resumen en portugués
Aplicações científicas atuais têm produzido volumes de dados cada vez maiores. O processamento, a manipulação e a análise desses dados requerem infraestruturas computacionais de larga escala tais como aglomerados e grades de computadores. Nesse contexto, várias pesquisas visam o aumento de desempenho dessas aplicações por meio da otimização de acesso a dados. Para alcançar tal objetivo, pesquisadores têm utilizado técnicas de replicação, migração, distribuição e paralelismo de dados. No entanto, uma das principais lacunas dessas pesquisas está na falta de emprego de conhecimento sobre aplicações com objetivo de realizar essa otimização. Essa lacuna motivou esta tese que visa empregar comportamento histórico e preditivo de aplicações a fim de otimizar suas operações de leitura e escrita sobre dados distribuídos. Os estudos foram iniciados empregando-se informações previamente monitoradas de aplicações a fim de tomar decisões relativas à replicação, migração e manutenção de consistência. Observou-se, por meio de uma nova heurística, que um conjunto histórico de eventos auxilia a estimar o comportamento futuro de uma aplicação e otimizar seus acessos. Essa primeira abordagem requer ao menos uma execução prévia da aplicação para composição de histórico. Esse requisito pode limitar aplicações reais que apresentam mudanças comportamentais ou que necessitam de longos períodos de execução para completar seu processamento. Para superar essa limitação, uma segunda abordagem foi proposta baseada na predição on-line de eventos comportamentais de aplicações. Essa abordagem não requer a execução prévia da aplicação e permite adaptar estimativas de comportamento futuro em função de alterações adjacentes. A abordagem preditiva analisa propriedades de séries temporais com objetivo de classificar seus processos geradores. Essa classificação aponta modelos que melhor se ajustam ao comportamento das aplicações e que, portanto, permitem predições com maior acurácia. As duas abordagens propostas foram implementadas e avaliadas utilizando o simulador OptorSim, vinculado ao projeto LHC/CERN, amplamente adotado pela comunidade científica. Experimentos constataram que as duas abordagens propostas reduzem o tempo de resposta (ou execução) de aplicações que manipulam grandes volumes de dados distribuídos em aproximadamente 50%
Título en inglés
Optimization input output operations aiming at reduce execution time of distributed applications which handle large amount of data
Palabras clave en inglés
Data access optimization
Distributed computing
Distributed file system
Time series analysis
Resumen en inglés
Current scientific applications produce large amount of data and handling, processing and analyzing such data require large-scale computing infrastructure such as clusters and grids. In this context, various studies have focused at improving the performance of these applications by optimizing data access. In order to achieve this goal, researchers have employed techniques of replication, migration, distribution and parallelism of data. However, these common approaches do not use knowledge about the applications at hand to perform this optimization. This gap motivated the present thesis, which aims at applying historical and predictive behavior of applications to optimize their reading and writing operations on distributed data. Based on information previously monitored from applications to make decisions regarding replication, migration and consistency of data, a new heuristic was initially proposed. Its evaluation revealed that considering sets of historical events indeed helps to estimate the behavior of future applications and to optimize their access operations. Thus it was embedded into two optimization approaches. The first one requires at least a previous execution for the history composition. This requirement may limit real world applications which present behavioral changes or take very long time to execute. In order to overcome this issue, a second technique was proposed. It performs on-line predictions about the behavior of the applications, mitigating the need of any prior execution. Additionally, this approach considers the future behavior of an application as a function of its underlying changes. This behavior can be modeled as time series. The method works by analyzing the series properties in order to classify their generating processes. This classification indicates models that best fit the applications behavior, allowing more accurate predictions. Experiments using the OptorSim simulator (LHC/CERN project) confirmed that the proposed approaches are able to reduce the response time of applications that handle large amount of distributed data in approximately 50%
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
tese.pdf (5.59 Mbytes)
Fecha de Publicación
2010-09-23
 
ADVERTENCIA: El material descrito abajo se refiere a los trabajos derivados de esta tesis o disertación. El contenido de estos documentos es responsabilidad del autor de la tesis o disertación.
  • ISHII, Renato P., RIOS, Ricardo A., and MELLO, Rodrigo F.. Classification of time series generation processes using experimental tools : a survey and proposal of an automatic and systematic approach [doi:10.1504/IJCSE.2011.043919]. International Journal of Computational Science and Engineering [online], 2011, vol. 6, n. 4, p. 217.
  • ISHII, Renato Porfirio, and FERNANDES DE MELLO, Rodrigo. An Online Data Access Prediction and Optimization Approach for Distributed Systems [doi:10.1109/TPDS.2011.256]. IEEE Transactions on Parallel and Distributed Systems [online], 2012, vol. 23, n. 6, p. 1017-1029.
  • ISHII, RENATO P., et al. Improving Scheduling of Communication Intensive Parallel Applications on Heterogeneous Computing Env [doi:10.1142/S0129626405002349]. Parallel Processing Letters [online], 2005, vol. 15, n. 4, p. 423-438.
  • DE SOUZA, Bruno, et al. Multiclass SVM Model Selection Using Particle Swarm Optimization [doi:10.1109/HIS.2006.264914]. In 2006 Sixth International Conference on Hybrid Intelligent Systems (HIS'06) [online], Rio de Janeiro, Brazil, 2006. Rio de Janeiro, Brazil : IEEE, 2006. p. 31. ISBN 0-7695-2662-4.
  • ISHII, R.P., et al. Scheduling Based on the Impact over Process Communication of Parallel Applications [doi:10.1109/HPCS.2005.46]. In 19th International Symposium on High Performance Computing Systems and Applications (HPCS'05) [online], Guelph, ON, Canada, . Guelph, ON, Canada : IEEE, 2005. p. 149-155.
  • MELLO, Rodrigo F., et al. Optimizing Distributed Data Access in Grid Environments by Using Artificial Intelligence Techniques. In STOJMENOVIC, Ivan, et al. Parallel and Distributed Processing and Applications [doi:10.1007/978-3-540-74742-0_14]. Editor. Berlin, Heidelberg : Springer Berlin Heidelberg, 2007. chap. 14. p. 125-136. Lecture Notes in Computer Science.
  • PERROTT, Ronald, et al. High Performance Computing and Communications [doi:10.1007/978-3-540-75444-2_24]. Editor. Berlin, Heidelberg : Springer Berlin Heidelberg, 2007. chap. 24, A Complex Network-Based Approach for Job Scheduling in Grid Environments, p. 204-215. Lecture Notes in Computer Science.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2024. Todos los derechos reservados.