Please use this identifier to cite or link to this item: https://repositorio.ufu.br/handle/123456789/18143
Full metadata record
DC FieldValueLanguage
dc.creatorCastro Neto, Henrique de-
dc.date.accessioned2017-03-09T16:32:03Z-
dc.date.available2017-03-09T16:32:03Z-
dc.date.issued2016-11-21-
dc.identifier.citationCASTRO NETO, Henrique de. Uma nova abordagem de aprendizagem de máquina combinando elicitação automática de casos, aprendizagem por reforço e mineração de padrões sequenciais para agentes jogadores de damas. 2016. 166 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2016. DOI http://doi.org/10.14393/ufu.te.2016.145pt_BR
dc.identifier.urihttps://repositorio.ufu.br/handle/123456789/18143-
dc.description.abstractake into account, in addition to the environment, the minimizing action of an opponent (such as in games), it is fundamental that the agent has the ability to progressively trace a proĄle of its adversary that aids it in the process of selecting appropriate actions. However, it would be unsuitable to construct an agent with a decision-making system based on only the elaboration of this proĄle, as this would prevent the agent from having its Şown identityŤ, which would leave it at the mercy of its opponent. Following this direction, this work proposes an automatic hybrid Checkers player, called ACE-RL-Checkers, equipped with a dynamic decision-making mechanism, which adapts to the proĄle of its opponent over the course of the game. In such a system, the action selection process (moves) is conducted through a composition of Multi-Layer Perceptron Neural Network and case library. In the case, Neural Network represents the ŞidentityŤ of the agent, i.e., it is an already trained static decision-making module and makes use of the Reinforcement Learning TD( ) techniques. On the other hand, the case library represents the dynamic decision-making module of the agent, which is generated by the Automatic Case Elicitation technique (a particular type of Case-Based Reasoning). This technique has a pseudo-random exploratory behavior, which makes the dynamic decision-making on the part of the agent to be directed, either by the game proĄle of the opponent or randomly. However, when devising such an architecture, it is necessary to avoid the following problem: due to the inherent characteristics of the Automatic Case Elicitation technique, in the game initial phases, in which the quantity of available cases in the library is extremely low due to low knowledge content concerning the proĄle of the adversary, the decisionmaking frequency for random decisions is extremely high, which would be detrimental to the performance of the agent. In order to attack this problem, this work also proposes to incorporate onto the ACE-RL-Checkers architecture a third module composed of a base of experience rules, extracted from games played by human experts, using a Sequential Pattern Mining technique. The objective behind using such a base is to reĄne and accelerate the adaptation of the agent to the proĄle of its opponent in the initial phases of their confrontations. Experimental results conducted in tournaments involving ACE-RL-Checkers and other agents correlated with this work, conĄrm the superiority of the dynamic architecture proposed herein.pt_BR
dc.description.sponsorshipFundação de Amparo a Pesquisa do Estado de Minas Geraispt_BR
dc.languageporpt_BR
dc.publisherUniversidade Federal de Uberlândiapt_BR
dc.rightsAcesso Abertopt_BR
dc.subjectComputaçãopt_BR
dc.subjectJogo de damas por computadorpt_BR
dc.subjectTeoria dos jogospt_BR
dc.subjectAprendizado do computadorpt_BR
dc.subjectAprendizagem de Máquinapt_BR
dc.subjectAprendizagem por Reforçopt_BR
dc.subjectMétodo das Diferenças Temporaispt_BR
dc.subjectRaciocínio Baseado em Casospt_BR
dc.subjectElicitação Automática de Casospt_BR
dc.subjectMineração de Padrões Sequenciaispt_BR
dc.subjectMineração de Dadospt_BR
dc.subjectComputação Evolutivapt_BR
dc.subjectAlgoritmo Genéticopt_BR
dc.subjectGame Theorypt_BR
dc.subjectMachine Learningpt_BR
dc.subjectReinforcement Learningpt_BR
dc.subjectTemporal Difference Methodspt_BR
dc.subjectCase-Based Reasoningpt_BR
dc.subjectAutomatic Case Elicitationpt_BR
dc.subjectSequential Pattern Miningpt_BR
dc.subjectData Miningpt_BR
dc.subjectEvolutionary Computationpt_BR
dc.subjectGenetic Algorithmpt_BR
dc.titleUma nova abordagem de aprendizagem de máquina combinando elicitação automática de casos, aprendizagem por reforço e mineração de padrões sequenciais para agentes jogadores de damaspt_BR
dc.typeTesept_BR
dc.contributor.advisor1Julia, Rita Maria da Silva-
dc.contributor.advisor1Latteshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4788590Z8pt_BR
dc.contributor.referee1Hruschka Júnior, Estevam Rafael-
dc.contributor.referee1Latteshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4792901E6pt_BR
dc.contributor.referee2Chaimowicz, Luiz-
dc.contributor.referee2Latteshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4791836U1pt_BR
dc.contributor.referee3Lopes, Carlos Roberto-
dc.contributor.referee3Latteshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4788535Z4pt_BR
dc.contributor.referee4Albertini, Marcelo Keese-
dc.contributor.referee4Latteshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4184508T7pt_BR
dc.creator.Latteshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4263530E9pt_BR
dc.description.degreenameTese (Doutorado)pt_BR
dc.description.resumoAgentes que operam em ambientes onde as tomadas de decisão precisam levar em conta, além do ambiente, a atuação minimizadora de um oponente (tal como nos jogos), é fundamental que o agente seja dotado da habilidade de, progressivamente, traçar um perĄl de seu adversário que o auxilie em seu processo de seleção de ações apropriadas. Entretanto, seria improdutivo construir um agente com um sistema de tomada de decisão baseado apenas na elaboração desse perĄl, pois isso impediria o agente de ter uma Şidentidade própriaŤ, o que o deixaria a mercê de seu adversário. Nesta direção, este trabalho propõe um sistema automático jogador de Damas híbrido, chamado ACE-RL-Checkers, dotado de um mecanismo dinâmico de tomada de decisões que se adapta ao perĄl de seu oponente no decorrer de um jogo. Em tal sistema, o processo de seleção de ações (movimentos) é conduzido por uma composição de Rede Neural de Perceptron Multicamadas e biblioteca de casos. No caso, a Rede Neural representa a ŞidentidadeŤ do agente, ou seja, é um módulo tomador de decisões estático já treinado e que faz uso da técnica de Aprendizagem por Reforço TD( ). Por outro lado, a biblioteca de casos representa o módulo tomador de decisões dinâmico do agente que é gerada pela técnica de Elicitação Automática de Casos (um tipo particular de Raciocínio Baseado em Casos). Essa técnica possui um comportamento exploratório pseudo-aleatório que faz com que a tomada de decisão dinâmica do agente seja guiada, ora pelo perĄl de jogo do adversário, ora aleatoriamente. Contudo, ao conceber tal arquitetura, é necessário evitar o seguinte problema: devido às características inerentes à técnica de Elicitação Automática de Casos, nas fases iniciais do jogo Ű em que a quantidade de casos disponíveis na biblioteca é extremamente baixa em função do exíguo conhecimento do perĄl do adversário Ű a frequência de tomadas de decisão aleatórias seria muito elevada, o que comprometeria o desempenho do agente. Para atacar tal problema, este trabalho também propõe incorporar à arquitetura do ACE-RLCheckers um terceiro módulo, composto por uma base de regras de experiência extraída a partir de jogos de especialistas humanos, utilizando uma técnica de Mineração de Padrões Sequenciais. O objetivo de utilizar tal base é reĄnar e acelerar a adaptação do agente ao perĄl de seu adversário nas fases iniciais dos confrontos entre eles. Resultados experimentais conduzidos em torneio envolvendo ACE-RL-Checkers e outros agentes correlacionados com este trabalho, conĄrmam a superioridade da arquitetura dinâmica aqui proposta.pt_BR
dc.publisher.countryBrasilpt_BR
dc.publisher.programPrograma de Pós-graduação em Ciência da Computaçãopt_BR
dc.sizeorduration166pt_BR
dc.subject.cnpqCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOpt_BR
dc.identifier.doihttp://doi.org/10.14393/ufu.te.2016.145pt_BR
dc.orcid.putcode81753129-
dc.crossref.doibatchid58434145-d6ec-45ce-b3f5-4a5d7e4364e9-
Appears in Collections:TESE - Ciência da Computação

Files in This Item:
File Description SizeFormat 
NovaAbordagemAprendizagem.pdfTese32.55 MBAdobe PDFThumbnail
View/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.