A teoria do caos estuda o tipo de comportamento, aparentemente aleatório, que apresentam alguns sistemas complexos sensíveis à perturbação dos seus parâmetros, como por exemplo sistemas dinâmicos, fractais, autômatos celulares, entre outros. Os autômatos celulares (ACs) são sistemas dinâmicos discretos que podem apresentar comportamentos caóticos a partir de regras simples. Os ACs tem sido empregados em diversas aplicações principalmente em simulações, mas também tem contribuído no reconhecimento de padrões, processamento de imagens e na Criptografia. A necessidade em transmitir informação de forma mais segura vem crescendo com a necessidade por novos algoritmos criptográficos. Paralelamente, os criptoanalistas vem progredindo constantemente na quebra e na procura de vulnerabilidades destes algoritmos, sendo necessaria a incursão de novas abordagens para atender estes desafios. Neste trabalho é proposto o desenvolvimento e avaliação de algoritmos criptográficos, assim como um novo método de criptoanálise, motivados pela adequação dos ACs caóticos com os princípios de confusão e difusão da Criptografia, seguindo critérios apropriados para a boa construção destes algoritmos, que são sintetizados em três partes: (i) Na proposta do algoritmo de cifra criptográfico baseado no AC caótico, foi sugerida uma estratégia de seleção de ACs em base a combinação de vários critérios como o expoente de Lyapunov, a entropia e a distância de Hamming; visando selecionar um AC apropriado para a geração de números pseudo-aleatórios usados no processo de encriptação/decriptação do algoritmo, o qual é validado por diversos testes de aleatoriedade. (ii) Foi proposto o algoritmo de hash criptográfico baseado numa abordagem híbrida dos ACs e as redes complexas, visando a construção de um algoritmo flexível e de bom desempenho. Os resultados alcançados por ambos os algoritmos criptográficos mostraram-se relevantes quando comparados com o estado da arte, com boas qualidades de segurança e um grande potencial para ser aplicados em problemas reais. (iii) Na proposta do método de criptoanálise foi sugerido traçar equivalências entre os sistemas criptográficos e os ACs caóticos visando explorar e analisar seu comportamento dinâmico, por meio da adaptação do algoritmo do expoente de Lyapunov dos ACs, cujos resultados permitiram encontrar padrões característicos nos modos de operação criptográficos. Os resultados obtidos mostraram que a abordagem dos ACs caóticos para desenvolver os algoritmos pode ser bastante útil em aplicações de Criptografia e Criptoanálise.

Chaos theory studies the apparently random behaviour from some complex systems with highly sensitive to the initial conditions, such as dynamical systems, fractals, cellular automata, among others. Cellular automata (CA) are discrete dynamical systems that may exhibit chaotic behaviour from simple rules. CA have been employed in many multidisciplinary applications, most of them in simulations systems, including pattern recognition, image processing and Cryptography. Nowadays, the development of new cryptographic algorithms is required in order to fulfil the increasing demand for secure transmission of confidential information. These algorithms are intensively analyzed, most of them broken by the cryptanalyst community. We proposed to develop two cryptographic algorithms: a block cipher and a hash function based on chaotic CA and its corresponding evaluation. We also proposed a new cryptanalysis methodology motivated by the strong relationship between the chaotic properties of CA and the cryptographic principles of confusion and diffusion, by following appropriate criteria to the proper design of these algorithms, which are summarized into three parts: (i) To proposed the block cipher proposed it was suggested a methodology to select a suitable CA to Cryptography by means of compounded measures such as the Lyapunov exponent, entropy and Hamming distance. Moreover, this selected CA is employed to generate pseudo-random numbers, which are further used in the encryption/decryption of the proposed block cipher and validated under several randomness tests. The results obtained by this cryptographic algorithm achieved similar and even higher performance when compared to others found in literature. (ii) The cryptographic hash function was developed using an hybrid approach of CA and complex networks, in order to build a flexible algorithm with acceptable performance when compared to conventional hash functions. In general, the results obtained from both cryptographic algorithms showed good security qualities and great potential to be applied in real problems. (iii) To proposed the cryptanalysis methodology it was suggested to draw parallels between cryptographic systems and CA, in order to explore and analise their dynamic behaviour. Hence, upon drawing such parallels, we have a means to adapt the Lyapunov exponent algorithm conceived in the framework of CA. Unexpectedly, the results obtained allow to discriminate among cryptographic modes of operation, which provides significant contributions to the field. Finally, we proved that the chaotic cellular automata approach can be quite useful in applications cryptography and cryptanalysis.