Dissertação de Mestrado

Continuous optimization problems with constraints are very important and have applications in several areas of science. Among the methods used to solve this type of problem, augmented Lagrangian methods stand out. Algencan is a well-established implementation of an augmented Lagrangian method with safeguards. At each iteration, Algencan solves a box-constrained subproblem using a method called Gencan. Like any optimization method, Gencan and Algencan have several parameters that determine their performance. In this work, we propose the use of a sequential statistical inference method to calibrate the parameters of Gencan and Algencan. Therefore, our objective is to study and apply statistical learning tools for parameter tuning in optimization algorithms. For this purpose, we use the Irace tool for tuning nonlinear optimization algorithms, focusing on the augmented Lagrangian method. In this context, we provide an introduction to augmented Lagrangian methods. We begin with a study of the external penalty methods, followed by their global convergence properties and some variants that led to the development of the augmented Lagrangian method. In this approach, penalties involving higher order information are incorporated, in contrast to the quadratic penalty method, which typically relies only on first order information. We also introduce the Algencan and Gencan methods, which will be used to implement the augmented Lagrangian method and solve nonlinear optimization problems using an internal method for minimizing bounded-constrained subproblems. The Gencan algorithm is designed to solve the bounded-constrained subproblems generated by the augmented Lagrangian function using the Newton method. When the face on which the optimization is being performed does not appear promising, the algorithm performs iterations of the spectral projected gradient method. Within this framework, we study the practical active set principle. Next, we present a summary of the statistical learning algorithm Irace, which will be the main tool used to construct all parameter configurations. We describe its learning mechanism based on nonparametric inferential statistics and discuss some variants of the Irace algorithm. Finally, we present the numerical results obtained using Irace on the Gencan and Algencan algorithms and compare their performance against the default configuration.

Problemas de otimização contínua com restrições são muito importantes e possuem aplicações em diversas áreas da ciência. Entre os métodos utilizados para resolver esse tipo de problema, destacam-se os métodos do Lagrangiano aumentado. O Algencan é uma implementação consolidada de um método de Lagrangiano aumentado com mecanismos de salvaguarda. Em cada iteração, o Algencan resolve um subproblema com restrições de caixa, utilizando um método denominado Gencan. Como qualquer método de otimização, Gencan e Algencan possuem diversos parâmetros que determinam seu desempenho. Neste trabalho, propomos o uso de um método de inferência estatística sequencial para calibrar os parâmetros de Gencan e Algencan. Dessa forma, nosso objetivo é estudar e aplicar ferramentas de aprendizado estatístico para a parametrização de algoritmos de otimização. Para esse propósito, utilizamos a ferramenta Irace para o ajuste de parâmetros de algoritmos de otimização não linear, com foco no método do Lagrangiano aumentado. Nesse contexto, apresentamos inicialmente uma introdução aos métodos de Lagrangiano aumentado. Começamos com um estudo dos métodos de penalidade externa, seguido de suas propriedades de convergência global e de algumas variantes que levaram ao desenvolvimento do método do Lagrangiano aumentado. Nessa abordagem, penalizações que envolvem informação de ordem superior são incorporadas, em contraste com o método de penalidade quadrática, que geralmente se baseia apenas em informação de primeira ordem. Também introduzimos os métodos Algencan e Gencan, que serão utilizados para implementar o método do Lagrangiano aumentado e resolver problemas de otimização não linear por meio de um método interno para os subproblemas com restrições de caixa. O algoritmo Gencan foi desenvolvido para resolver estes subproblemas gerados pela função do Lagrangiano aumentado, utilizando o método de Newton. Quando a face na qual a otimização está sendo realizada não se mostra promissora, o algoritmo realiza iterações do método do gradiente projetado espectral. Dentro desse contexto, estudamos o princípio prático das restrições ativas. Seguidamente, apresentamos um resumo do algoritmo de aprendizado estatístico Irace, que será a principal ferramenta utilizada para construir todas as configurações de parâmetros. Descrevemos seu mecanismo de aprendizado baseado em estatística inferencial não paramétrica e discutimos algumas variantes do algoritmo. Por fim, apresentamos os resultados obtidos com o uso do Irace nos algoritmos Gencan e Algencan e comparamos seu desempenho com as configurações padrão.