• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tese de Doutorado
DOI
10.11606/T.55.2010.tde-23092010-170110
Documento
Autor
Nome completo
Renato Porfirio Ishii
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Carlos, 2010
Orientador
Banca examinadora
Mello, Rodrigo Fernandes de (Presidente)
Sato, Liria Matsumoto
Schulze, Bruno Richard
Senger, Hermes
Ueyama, Jo
Título em português
Otimização de operações de entrada e saída visando reduzir o tempo de resposta de aplicações distribuídas que manipulam grandes volumes de dados
Palavras-chave em português
Análise de séries temporais
Computação distribuída
Otimização de acesso a dados
Sistemas de arquivos distribuídos
Resumo em português
Aplicações científicas atuais têm produzido volumes de dados cada vez maiores. O processamento, a manipulação e a análise desses dados requerem infraestruturas computacionais de larga escala tais como aglomerados e grades de computadores. Nesse contexto, várias pesquisas visam o aumento de desempenho dessas aplicações por meio da otimização de acesso a dados. Para alcançar tal objetivo, pesquisadores têm utilizado técnicas de replicação, migração, distribuição e paralelismo de dados. No entanto, uma das principais lacunas dessas pesquisas está na falta de emprego de conhecimento sobre aplicações com objetivo de realizar essa otimização. Essa lacuna motivou esta tese que visa empregar comportamento histórico e preditivo de aplicações a fim de otimizar suas operações de leitura e escrita sobre dados distribuídos. Os estudos foram iniciados empregando-se informações previamente monitoradas de aplicações a fim de tomar decisões relativas à replicação, migração e manutenção de consistência. Observou-se, por meio de uma nova heurística, que um conjunto histórico de eventos auxilia a estimar o comportamento futuro de uma aplicação e otimizar seus acessos. Essa primeira abordagem requer ao menos uma execução prévia da aplicação para composição de histórico. Esse requisito pode limitar aplicações reais que apresentam mudanças comportamentais ou que necessitam de longos períodos de execução para completar seu processamento. Para superar essa limitação, uma segunda abordagem foi proposta baseada na predição on-line de eventos comportamentais de aplicações. Essa abordagem não requer a execução prévia da aplicação e permite adaptar estimativas de comportamento futuro em função de alterações adjacentes. A abordagem preditiva analisa propriedades de séries temporais com objetivo de classificar seus processos geradores. Essa classificação aponta modelos que melhor se ajustam ao comportamento das aplicações e que, portanto, permitem predições com maior acurácia. As duas abordagens propostas foram implementadas e avaliadas utilizando o simulador OptorSim, vinculado ao projeto LHC/CERN, amplamente adotado pela comunidade científica. Experimentos constataram que as duas abordagens propostas reduzem o tempo de resposta (ou execução) de aplicações que manipulam grandes volumes de dados distribuídos em aproximadamente 50%
Título em inglês
Optimization input output operations aiming at reduce execution time of distributed applications which handle large amount of data
Palavras-chave em inglês
Data access optimization
Distributed computing
Distributed file system
Time series analysis
Resumo em inglês
Current scientific applications produce large amount of data and handling, processing and analyzing such data require large-scale computing infrastructure such as clusters and grids. In this context, various studies have focused at improving the performance of these applications by optimizing data access. In order to achieve this goal, researchers have employed techniques of replication, migration, distribution and parallelism of data. However, these common approaches do not use knowledge about the applications at hand to perform this optimization. This gap motivated the present thesis, which aims at applying historical and predictive behavior of applications to optimize their reading and writing operations on distributed data. Based on information previously monitored from applications to make decisions regarding replication, migration and consistency of data, a new heuristic was initially proposed. Its evaluation revealed that considering sets of historical events indeed helps to estimate the behavior of future applications and to optimize their access operations. Thus it was embedded into two optimization approaches. The first one requires at least a previous execution for the history composition. This requirement may limit real world applications which present behavioral changes or take very long time to execute. In order to overcome this issue, a second technique was proposed. It performs on-line predictions about the behavior of the applications, mitigating the need of any prior execution. Additionally, this approach considers the future behavior of an application as a function of its underlying changes. This behavior can be modeled as time series. The method works by analyzing the series properties in order to classify their generating processes. This classification indicates models that best fit the applications behavior, allowing more accurate predictions. Experiments using the OptorSim simulator (LHC/CERN project) confirmed that the proposed approaches are able to reduce the response time of applications that handle large amount of distributed data in approximately 50%
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
tese.pdf (5.59 Mbytes)
Data de Publicação
2010-09-23
 
AVISO: O material descrito abaixo refere-se a trabalhos decorrentes desta tese ou dissertação. O conteúdo desses trabalhos é de inteira responsabilidade do autor da tese ou dissertação.
  • ISHII, Renato P., RIOS, Ricardo A., and MELLO, Rodrigo F.. Classification of time series generation processes using experimental tools : a survey and proposal of an automatic and systematic approach [doi:10.1504/IJCSE.2011.043919]. International Journal of Computational Science and Engineering [online], 2011, vol. 6, n. 4, p. 217.
  • ISHII, Renato Porfirio, and FERNANDES DE MELLO, Rodrigo. An Online Data Access Prediction and Optimization Approach for Distributed Systems [doi:10.1109/TPDS.2011.256]. IEEE Transactions on Parallel and Distributed Systems [online], 2012, vol. 23, n. 6, p. 1017-1029.
  • ISHII, RENATO P., et al. Improving Scheduling of Communication Intensive Parallel Applications on Heterogeneous Computing Env [doi:10.1142/S0129626405002349]. Parallel Processing Letters [online], 2005, vol. 15, n. 4, p. 423-438.
  • DE SOUZA, Bruno, et al. Multiclass SVM Model Selection Using Particle Swarm Optimization [doi:10.1109/HIS.2006.264914]. In 2006 Sixth International Conference on Hybrid Intelligent Systems (HIS'06) [online], Rio de Janeiro, Brazil, 2006. Rio de Janeiro, Brazil : IEEE, 2006. p. 31. ISBN 0-7695-2662-4.
  • ISHII, R.P., et al. Scheduling Based on the Impact over Process Communication of Parallel Applications [doi:10.1109/HPCS.2005.46]. In 19th International Symposium on High Performance Computing Systems and Applications (HPCS'05) [online], Guelph, ON, Canada, . Guelph, ON, Canada : IEEE, 2005. p. 149-155.
  • MELLO, Rodrigo F., et al. Optimizing Distributed Data Access in Grid Environments by Using Artificial Intelligence Techniques. In STOJMENOVIC, Ivan, et al. Parallel and Distributed Processing and Applications [doi:10.1007/978-3-540-74742-0_14]. Editor. Berlin, Heidelberg : Springer Berlin Heidelberg, 2007. chap. 14. p. 125-136. Lecture Notes in Computer Science.
  • PERROTT, Ronald, et al. High Performance Computing and Communications [doi:10.1007/978-3-540-75444-2_24]. Editor. Berlin, Heidelberg : Springer Berlin Heidelberg, 2007. chap. 24, A Complex Network-Based Approach for Job Scheduling in Grid Environments, p. 204-215. Lecture Notes in Computer Science.
Todos os direitos da tese/dissertação são de seus autores
Centro de Informática de São Carlos
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2020. Todos os direitos reservados.