Please use this identifier to cite or link to this item: https://repositorio.ufu.br/handle/123456789/29012
ORCID:  http://orcid.org/0000-0003-1468-9243
Document type: Dissertação
Access type: Acesso Aberto
Title: Investigação de métodos de aprendizagem e de representação de ambiente na construção de agentes jogadores: aplicação ao jogo FIFA
Alternate title (s): Investigating learning methods and environment representations in the construction of player agents: application on FIFA game
Author: Faria, Matheus Prado Prandini
First Advisor: Julia, Rita Maria da Silva
First coorientator: Tomaz, Lídia Bononi Paiva
First member of the Committee: Carneiro, Murillo Guimarães
Second member of the Committee: Cavalcanti, George Darmiton da Cunha da
Summary: O objetivo deste trabalho é investigar técnicas apropriadas de Aprendizado de Máquina (AM) - mais especificamente, aprendizagem profunda (AP) - combinadas a técnicas de representação de estado por imagem provenientes da Visão Computacional (VC), para produzir agentes capazes de resolver problemas, em tempo real, em ambientes com propriedades complexas. Tais dificuldades requerem que os agentes apresentem elevada eficiência nos seus processos de aprendizagem (e, consequentemente, de tomada de decisão) e de percepção do ambiente, sem os quais não obterão êxito. O jogo eletrônico FIFA - simulador de futebol - é utilizado como estudo de caso por representar um ambiente realístico e desafiador. As técnicas de AM são investigadas no contexto da AP propiciado pelas Redes Neurais Convolucionais (RNCs), sendo elas: aprendizado por imitação, na qual os agentes são dotados da capacidade de resolver problemas de maneira mais próxima à humana; por reforço profundo, na qual o agente é treinado de forma a tentar abstrair, autonomamente, uma política ótima de tomada de decisões. Com relação à percepção de ambiente, investigam-se aqui as seguintes abordagens de representação por imagem: imagens cruas - com e sem informação de cor - e Técnicas de Detecção de Objetos (TDO). A título de melhorar ainda mais o desempenho dos agentes desenvolvidos, são exploradas técnicas de algoritmos genéticos para definir, automaticamente, uma arquitetura otimizada da RNC a ser utilizada como módulo de tomada de decisão de agentes jogadores. Além de corroborar os excelentes resultados que a AP combinada à VC vem produzindo no contexto da AM (particularmente, nos jogos), o presente trabalho mostra o grande potencial da aplicação de TDO no processo de enriquecimento da percepção de ambiente, o que conta como contrapartida relevante ao fato de TDO demandar recursos computacionais de mais alto custo em relação às representações baseadas em imagens cruas.
Abstract: The objective behind this study is to investigate appropriate Machine Learning (ML) techniques - more specifically, Deep Learning (DL) - combined with methods from Computer Vision (CV) for state representation by images, to produce agents capable of solving problems, in real time, in environments with complex properties. Such difficulties require agents to be highly efficient in their learning (and, consequently, decision-making) and environmental perception processes, without which they will not be successful. The digital game FIFA - soccer simulator - is used as a case study because it represents a realistic and challenging environment. The ML techniques are investigated in the context of the DL provided by Convolutional Neural Networks (CNNs), being: imitation learning, used here with the purpose of endowing the agent with the ability to solve problems in a way closer to human; by deep reinforcement, in which the agent is trained in an attempt to autonomously abstract an optimal decision-making policy. Regarding the environmental perception, the following state representations approaches are investigated in this study: raw images - with and without color information - and through Object Detection Techniques (ODT). In order to further improve the performance of the agents produced, genetic algorithm techniques are explored to automatically define a CNN architecture to be used as the player agents decision-making module. In addition to corroborating the excellent results that DL combined with CV has been producing in the context of ML (particularly in games), the present work shows the great potential of the application of ODT in the process of echancing the environmental perception, which counts as a relevant counterpart to the fact that ODT demands computational procedures with a higher cost in relation to the representations based on raw images.
Keywords: Aprendizado de máquina
Machine learning
Aprendizagem profunda
Deep learning
Visão computacional
Computer vision
Técnicas de detecção de objetos
Object detection techniques
Aprendizado por imitação
Imitation learning
Aprendizado por reforço
Reinforcement learning
Redes Neurais convolucionais
Convolutional neural networks
Algoritmos genéticos
Genetic algorithms
Computação
Computing
Area (s) of CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Language: por
Country: Brasil
Publisher: Universidade Federal de Uberlândia
Program: Programa de Pós-graduação em Ciência da Computação
Quote: FARIA, Matheus Prado Prandini. Investigação de métodos de aprendizagem e de representação de ambiente na construção de agentes jogadores: aplicação ao jogo FIFA. 2020. 168 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2020. DOI http://doi.org/10.14393/ufu.di.2020.320.
Document identifier: http://doi.org/10.14393/ufu.di.2020.320
URI: https://repositorio.ufu.br/handle/123456789/29012
Date of defense: 5-Mar-2020
Appears in Collections:DISSERTAÇÃO - Ciência da Computação

Files in This Item:
File Description SizeFormat 
InvestigacaoMetodosAprendizagem.pdfDissertação9.81 MBAdobe PDFThumbnail
View/Open


This item is licensed under a Creative Commons License Creative Commons