1. Repositório Institucional - Universidade Federal de Uberlândia
2. Faculdade de Engenharia Mecânica (FEMEC)
3. TCC - Engenharia Mecatrônica

ORCID:	http://orcid.org/0009-0008-3811-7745
Tipo do documento:	Trabalho de Conclusão de Curso
Tipo de acesso:	Acesso Aberto
Título:	Implementação do Q-learning no rastreamento de referências constantes em um aeropêndulo
Título(s) alternativo(s):	Implementation of Q-learning in tracking constant references in an aeropendulum
Autor(es):	Morais Filho, Cleiton Kennedy de
Primeiro orientador:	Assis, Pedro Augusto Queiroz de
Primeiro membro da banca:	Andrade, João Rodrigo
Segundo membro da banca:	Paes, Luiz Eduardo dos Santos
Resumo:	O objetivo deste trabalho é aplicar um método de aprendizado de máquina no controle de um aeropêndulo. Especificamente, o método \textit{Q-Learning} de aprendizado por reforço é utilizado para fazer com que a haste do aeropêndulo seja guiada para uma referência. Para isso, primeiramente um modelo matemático não linear para descrever a dinâmica do sistema é desenvolvido. Mais ainda, o espaço de estados e ações admissíveis foram discretizados, e foi definida uma função de recompensas para fazer com que o agente aprenda a realizar a tarefa de controle. Tal função retorna recompensas positivas ao agente caso a haste permaneça em um ângulo de referência com a base. Já recompensas negativas são atribuídas quando um estado terminal é atingido. As ações possíveis de serem tomadas em um estado são acelerar ou desacelerar o motor. A magnitude da aceleração/desaceleração depende da magnitude do erro de rastreamento. Análises do número de episódios de treinamento necessários para que o agente aprenda a realizar a tarefa, e da influência dos parâmetros de ajuste no aprendizado são realizadas. Os resultados mostram que o agente aprendeu a controlar o aeropêndulo sem erro de rastreamento em regime permanente em todos os casos após o treinamento, indicando a viabilidade da aplicação deste tipo de método no controle de sistemas não lineares. Identificou-se que são necessários aproximadamente 2900 episódios para que o aprendizado seja concluído. Mais ainda, verificou-se que ao aumentar o fator de ganância e a taxa de aprendizagem, a resposta transitória do sistema melhorou. Já variando-se o fator de desconto, os melhores resultados foram obtidos com valores intermediários.
Palavras-chave:	Aprendizado por reforço Q-learning Aeropêndulo Controle em malha fechada
Área(s) do CNPq:	CNPQ::ENGENHARIAS::ENGENHARIA MECANICA
Idioma:	por
País:	Brasil
Editora:	Universidade Federal de Uberlândia
Referência:	MORAIS FILHO, Cleiton Kennedy de. Implementação do Q-learning no rastreamento de referências constantes em um aeropêndulo. 2023. 44 f. Trabalho de Conclusão de Curso (Graduação em Engenharia Mecatrônica) – Universidade Federal de Uberlândia, Uberlândia, 2023.
URI:	https://repositorio.ufu.br/handle/123456789/39534
Data de defesa:	14-Nov-2023
Aparece nas coleções:	TCC - Engenharia Mecatrônica

Este item está licenciada sob uma Licença Creative Commons