Please use this identifier to cite or link to this item:
https://repositorio.ufu.br/handle/123456789/29012
ORCID: | http://orcid.org/0000-0003-1468-9243 |
Document type: | Dissertação |
Access type: | Acesso Aberto |
Title: | Investigação de métodos de aprendizagem e de representação de ambiente na construção de agentes jogadores: aplicação ao jogo FIFA |
Alternate title (s): | Investigating learning methods and environment representations in the construction of player agents: application on FIFA game |
Author: | Faria, Matheus Prado Prandini |
First Advisor: | Julia, Rita Maria da Silva |
First coorientator: | Tomaz, Lídia Bononi Paiva |
First member of the Committee: | Carneiro, Murillo Guimarães |
Second member of the Committee: | Cavalcanti, George Darmiton da Cunha da |
Summary: | O objetivo deste trabalho é investigar técnicas apropriadas de Aprendizado de Máquina (AM) - mais especificamente, aprendizagem profunda (AP) - combinadas a técnicas de representação de estado por imagem provenientes da Visão Computacional (VC), para produzir agentes capazes de resolver problemas, em tempo real, em ambientes com propriedades complexas. Tais dificuldades requerem que os agentes apresentem elevada eficiência nos seus processos de aprendizagem (e, consequentemente, de tomada de decisão) e de percepção do ambiente, sem os quais não obterão êxito. O jogo eletrônico FIFA - simulador de futebol - é utilizado como estudo de caso por representar um ambiente realístico e desafiador. As técnicas de AM são investigadas no contexto da AP propiciado pelas Redes Neurais Convolucionais (RNCs), sendo elas: aprendizado por imitação, na qual os agentes são dotados da capacidade de resolver problemas de maneira mais próxima à humana; por reforço profundo, na qual o agente é treinado de forma a tentar abstrair, autonomamente, uma política ótima de tomada de decisões. Com relação à percepção de ambiente, investigam-se aqui as seguintes abordagens de representação por imagem: imagens cruas - com e sem informação de cor - e Técnicas de Detecção de Objetos (TDO). A título de melhorar ainda mais o desempenho dos agentes desenvolvidos, são exploradas técnicas de algoritmos genéticos para definir, automaticamente, uma arquitetura otimizada da RNC a ser utilizada como módulo de tomada de decisão de agentes jogadores. Além de corroborar os excelentes resultados que a AP combinada à VC vem produzindo no contexto da AM (particularmente, nos jogos), o presente trabalho mostra o grande potencial da aplicação de TDO no processo de enriquecimento da percepção de ambiente, o que conta como contrapartida relevante ao fato de TDO demandar recursos computacionais de mais alto custo em relação às representações baseadas em imagens cruas. |
Abstract: | The objective behind this study is to investigate appropriate Machine Learning (ML) techniques - more specifically, Deep Learning (DL) - combined with methods from Computer Vision (CV) for state representation by images, to produce agents capable of solving problems, in real time, in environments with complex properties. Such difficulties require agents to be highly efficient in their learning (and, consequently, decision-making) and environmental perception processes, without which they will not be successful. The digital game FIFA - soccer simulator - is used as a case study because it represents a realistic and challenging environment. The ML techniques are investigated in the context of the DL provided by Convolutional Neural Networks (CNNs), being: imitation learning, used here with the purpose of endowing the agent with the ability to solve problems in a way closer to human; by deep reinforcement, in which the agent is trained in an attempt to autonomously abstract an optimal decision-making policy. Regarding the environmental perception, the following state representations approaches are investigated in this study: raw images - with and without color information - and through Object Detection Techniques (ODT). In order to further improve the performance of the agents produced, genetic algorithm techniques are explored to automatically define a CNN architecture to be used as the player agents decision-making module. In addition to corroborating the excellent results that DL combined with CV has been producing in the context of ML (particularly in games), the present work shows the great potential of the application of ODT in the process of echancing the environmental perception, which counts as a relevant counterpart to the fact that ODT demands computational procedures with a higher cost in relation to the representations based on raw images. |
Keywords: | Aprendizado de máquina Machine learning Aprendizagem profunda Deep learning Visão computacional Computer vision Técnicas de detecção de objetos Object detection techniques Aprendizado por imitação Imitation learning Aprendizado por reforço Reinforcement learning Redes Neurais convolucionais Convolutional neural networks Algoritmos genéticos Genetic algorithms Computação Computing |
Area (s) of CNPq: | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
Language: | por |
Country: | Brasil |
Publisher: | Universidade Federal de Uberlândia |
Program: | Programa de Pós-graduação em Ciência da Computação |
Quote: | FARIA, Matheus Prado Prandini. Investigação de métodos de aprendizagem e de representação de ambiente na construção de agentes jogadores: aplicação ao jogo FIFA. 2020. 168 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2020. DOI http://doi.org/10.14393/ufu.di.2020.320. |
Document identifier: | http://doi.org/10.14393/ufu.di.2020.320 |
URI: | https://repositorio.ufu.br/handle/123456789/29012 |
Date of defense: | 5-Mar-2020 |
Appears in Collections: | DISSERTAÇÃO - Ciência da Computação |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
InvestigacaoMetodosAprendizagem.pdf | Dissertação | 9.81 MB | Adobe PDF | View/Open |
This item is licensed under a Creative Commons License