Please use this identifier to cite or link to this item:
https://repositorio.ufu.br/handle/123456789/17967
Document type: | Tese |
Access type: | Acesso Aberto |
Title: | Análise de desempenho de redes neurais artificiais do tipo multilayer perceptron por meio do distanciamento dos pontos do espaço de saída |
Alternate title (s): | Advanced analysis of using new target vectors on high performance MLPs |
Author: | Manzan, José Ricardo Gonçalves |
First Advisor: | Yamanaka, Keiji |
First coorientator: | Nomura, Shigueo |
First member of the Committee: | Teixeira, Edilberto Pereira |
Second member of the Committee: | Rufino, Hugo Leonardo Pereira |
Third member of the Committee: | Peretta, Igor Santos |
Fourth member of the Committee: | Souza, Marcelo Rodrigues de |
Summary: | As Redes Neurais Artificiais (RNAs) do tipo Multilayer Perceptron (MLP) são amplamente conhecidas e utilizadas numa grande gama de aplicações relacionadas ao Reconhecimento de Padrões (RP). Naturalmente, vários estudos são realizados no intuito de melhorar o desempenho dessa ferramenta. Esses estudos buscam abordagens diversas como a melhoria do algoritmo de treinamento, a determinação de topologias ideais para cada problema, a inicialização dos pesos sinápticos de treinamento e o tratamento dos padrões de entrada da rede. Nesse contexto, o espaço de saída das MLPs não tem sido explorado como forma de melhorar o seu desempenho. Este trabalho consiste num estudo sobre a influência do distanciamento dos pontos do espaço de saída no desempenho de MLPs em tarefas de RP. O aumento da distância dos pontos do espaço de saída, que são os alvos da rede, é obtido pela utilização de vetores-alvo bipolares e ortogonais (VBO). A condição de ortogonalidade implica no aumento da distância euclidiana, o que não ocorre com vetores convencionais VCs que são não ortogonais. O presente estudo mostra uma análise matemática do algoritmo de treinamento denominado backpropagation, relacionando sua dedução a partir da função erro com a dedução alternativa a partir da função distância euclidiana. Nessa análise, a hipótese de que o uso de VBOs melhora o desempenho de redes do tipo MLP é demonstrada por meio da redução da suscetibilidade de classificação incorreta em relação ao uso dos (VC). Neste trabalho, também são mostradas análises experimentais na classificação de dígitos manuscritos, íris humana e signos da linguagem de sinais australiana. Uma das análises avaliou estatisticamente a propensão a erros de classificação de redes do tipo MLP treinadas com VCs e VBOs. Os resultados confirmaram as conclusões obtidas com a análise matemática. Em outra análise experimental, foi avaliado o desempenho das redes do tipo MLP treinadas com VCs e VBOs, desde a conclusão do primeiro ciclo de treinamento até os ciclos finais do treinamento. Os resultados indicam três aspectos importantes. Um deles é o grande aumento nas taxas de classificação de padrões nos primeiros ciclos de treinamento. O outro aspecto é a menor suscetibilidade ao efeito do overfitting em redes MLP treinadas com VBOs. E o terceiro consiste na obtenção de taxas significativas de desempenho com pouco treinamento e também com pouco esforço computacional. Por fim, o trabalho também realizou um estudo sobre a robustez das redes MLP diante da alteração do número de neurônios da camada intermediária e o valor da taxa de aprendizagem inicial. Foi constatado que as redes treinadas com VBOs apresentam pouca suscetibilidade a essas alterações de parâmetros, ao contrário do que ocorre com as redes treinadas com vetores convencionais. |
Abstract: | Artificial Neural Networks (ANN) of Multilayer Perceptron (MLP) type are widely known and used in a wide range of applications related to Pattern Recognition (PR). Studies have been conducted in order to improve the performance of that tool. They search for different approaches such as the improvement of the training algorithm, the determination of optimal topologies for each problem, the initialization of synaptic training weights, and the treatment of the network input patterns. In this context, the output of MLPs hasn’t been exploited in order to improve its performance. This work is a study on the influence of the distance of the output space points in the performance of MLPs in PR tasks. The gap widening of the output points, which are the network targets, is obtained by using target bipolar and orthogonal vectors (VBO). The orthogonality condition implies in the Euclidean gap widening, which does not occur with conventional vectors VCs that are not orthogonal. This study shows a mathematical analysis of the training algorithm called backpropagation, relating its deduction from the error function with the alternative deduction from the Euclidean distance function. The assumption that the use of VBOs improves the MLP type network performance is demonstrated by the reduction of the misclassification susceptibility in relation to the use of (VCs). This work also shows experimental analysis on classification of manuscripts digits, human iris and signs of the Australian sign language. The propensity to networks misclassification of MLP type trained with VCs and VBOs is statistically evaluated. The results confirmed the findings obtained in the mathematical analysis. In another experimental analysis, we have evaluated the performance of the MLP type networks trained with VCs and VBOs, from the completion of the first training cycle to the training end cycles. The results show three important findings. Firstly, the great increase in patterns classification rates in the first training cycles. The second aspect is less susceptible to the effect of the overfitting in MLP networks trained with VBOs. The third one deals with the achievement of significant rates of performance with little training, and with little computational effort. Finally, the study also conducted a study on the robustness of the MLP networks before the change in the number of neurons of the intermediate layer, and the value of the initial learning rate. It was found that the networks trained with VBOs have little susceptibility to these changes of parameters, unlike what happens with the networks trained with conventional vectors. |
Keywords: | Engenharia elétrica Reconhecimento de padrões Redes neurais (Computação) Vetores-alvo Vetores bipolares convencionais Vetores bipolares ortogonais Esforço computacional Pattern recognition Target-vectors Conventional bipolar vectors Orthogonal bipolar vectors Computational effort |
Area (s) of CNPq: | CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
Language: | por |
Country: | Brasil |
Publisher: | Universidade Federal de Uberlândia |
Program: | Programa de Pós-graduação em Engenharia Elétrica |
Quote: | MANZAN, José Ricardo Gonçalves. Análise de desempenho de redes neurais artificiais do tipo multilayer perceptron por meio do distanciamento dos pontos do espaço de saída. 2016. 129 f. Tese (Doutorado em Ciências) - Universidade Federal de Uberlândia, Uberlândia, 2016. DOI https://doi.org/10.14393/ufu.te.2016.133 |
Document identifier: | https://doi.org/10.14393/ufu.te.2016.133 |
URI: | https://repositorio.ufu.br/handle/123456789/17967 |
Date of defense: | 23-Sep-2016 |
Appears in Collections: | TESE - Engenharia Elétrica |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
AnaliseDesempenhoRedes.pdf | Tese | 5.03 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.