Publicação: Implementação de algoritmos de aprendizado por reforço no controle de um carro pêndulo
Carregando...
Tipo do documento
Data
Direito de acesso
Coleções
Programa
Área do conhecimento
CNPQ::OUTROS::ENGENHARIA MECATRONICA
Título da Revista
ISSN da Revista
Título de Volume
Autores
Orientador
Coorientador
Resumo
No Reinforcement Learning (RL) ou aprendizado baseado em reforço, pretende-se fazer
com que o agente aprenda a realizar uma tarefa por meio de interações com o ambiente.
Sendo um ramo da Inteligência Artificial não supervisionado, nos métodos de RL o aprendizado é realizado com base em tentativa e erro. O objetivo é determinar a sequência de
ações que maximizam o somatório de recompensas a longo prazo, o que é denominado
retorno. Neste trabalho serão avaliados quatro algoritmos de aprendizado baseado em
reforço para o controle de um carro pêndulo. Em particular são implementados SARSA,
Q-Learning, Deep Q-Learning e Double Deep Q-Learning. O objetivo dos métodos con siste em treinar um agente para manter uma haste equilibrada e o carro dentro de um
certo intervalo em torno da origem. Com esse propósito é definida uma função que retorna
recompensas positivas, caso esses objetivos sejam alcançados, e recompensas negativas,
caso contrário. Para tais objetivos, será utilizado a linguagem Python, tanto para implementação, quanto para simulação e exibição dos resultados. Os resultados da simulação
no modelo não linear do sistema demonstram a capacidade de aprendizado do agente, pois
foi possível realizar a tarefa proposta utilizando todos os métodos implementados. Mais
ainda, usando essas simulações, avaliam-se efeitos de variações nos parâmetros de ajuste
dos métodos no aprendizado do agente. Esses resultados podem orientar outros projetistas
na implementação dos métodos de RL considerados. Constatou-se que o método Double
Deep Q-Learning proporcionou um aprendizado mais rápido, tornando-se assim o melhor
entre os métodos testados.
Abstract
Palavras-chave
SARSA, Reinforcement learning, Q-learning, Deep q-learning
Citação
ALVES JÚNIOR, Tércio de Melo. Implementação de algoritmos de aprendizado por reforço no controle de um carro pêndulo. 2023. 63 f. Trabalho de Conclusão de Curso (Graduação em Engenharia Mecatrônica) – Universidade Federal de Uberlândia, Uberlândia, 2023.