Publicação: Comparação entre algoritmos de aprendizado por reforço profundo e controlador PID aplicados ao seguimento de linha
Carregando...
Tipo do documento
Data
Direito de acesso
Área do conhecimento
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Título da Revista
ISSN da Revista
Título de Volume
Orientador
Coorientador
Resumo
Este trabalho apresenta uma avaliação experimental comparativa entre seis algoritmos de aprendizado por reforço profundo Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), Soft Actor-Critic (SAC), Proximal Policy Optimization (PPO), Advantage Actor-Critic (A2C) e Model-Based Reinforcement Learning (MBRL) e o controlador Proporcional-Integral-Derivativo (PID), aplicados ao problema de seguimento de linha por visão computacional em um robô móvel diferencial. Os experimentos foram conduzidos em ambiente simulado, considerando três cenários de complexidade geométrica crescente e duas velocidades de operação, correspondentes a 50% e 75% da velocidade máxima estável do robô. A avaliação considerou métricas de precisão, estabilidade, esforço de controle, taxa de conclusão e robustez. Os resultados indicam que o DDPG apresentou o melhor equilíbrio entre precisão e taxa de conclusão nos cenários avaliados, mantendo desempenho consistente mesmo com o aumento da velocidade. O PID demonstrou resultados competitivos em condições estáveis, com menor esforço de controle, mas apresentou sensibilidade ao aumento de velocidade. Os demais algoritmos de aprendizado por reforço apresentaram erros de rastreamento significativamente maiores. Os resultados reforçam o potencial do aprendizado por reforço profundo para tarefas de controle contínuo em robótica móvel, evidenciando que a escolha do método mais adequado depende dos requisitos específicos da aplicação.
Abstract
This work presents an experimental comparative evaluation of six deep reinforcement learning algorithms Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), Soft Actor-Critic (SAC), Proximal Policy Optimization (PPO), Advantage Actor-Critic (A2C), and Model-Based Reinforcement Learning (MBRL) and a Proportional-Integral-Derivative (PID) controller, applied to the line-following task using computer vision on a differential mobile robot. The experiments were conducted in a simulated environment, considering three scenarios of increasing geometric complexity and two operating speeds, corresponding to 50% and 75% of the robot's maximum stable velocity. The evaluation considered metrics of precision, stability, control effort, completion rate, and robustness. The results indicate that DDPG achieved the best balance between accuracy and completion rate across all evaluated scenarios, maintaining consistent performance even as speed increased. The PID controller demonstrated competitive results under stable conditions, with lower control effort, but showed sensitivity to speed increases. The remaining reinforcement learning algorithms presented significantly higher tracking errors. Overall, the results reinforce the potential of deep reinforcement learning for continuous control tasks in mobile robotics, highlighting that the most suitable method depends on the specific requirements of the application.
Palavras-chave
Aprendizado por Reforço Profundo, Seguimento de linha, Visão Computacional, Robótica Móvel, Deep Reinforcement Learning, Trajectory Following, Computer Vision, Mobile Robotics, PID Controller
Citação
SOUZA JÚNIOR, Fabio Romero de. Comparação entre algoritmos de aprendizado por reforço profundo e controlador PID aplicados ao seguimento de linha. 2026. Dissertação (Mestrado em Engenharia Elétrica) – Universidade Federal de Uberlândia, Uberlândia, 2026. DOI: http://doi.org/10.14393/ufu.di.2026.694