Por favor, use este identificador para citar o enlazar este ítem:
https://repositorio.ufu.br/handle/123456789/42138
ORCID: | http://orcid.org/0000-0001-9069-2503 |
Tipo de documento: | Dissertação |
Tipo de acceso: | Acesso Aberto |
Título: | Transfer of Deep Reinforcement Learning for Cloud Service’s Elasticity |
Título (s) alternativo (s): | Transferência de aprendizado por reforço profundo para elasticidade de serviço de nuvem |
Autor: | Cunha, Ian Resende da |
Primer orientador: | Pasquini, Rafael |
Primer coorientador: | Richart, Matías |
Primer miembro de la banca: | Miani, Rodrigo Sanches |
Segundo miembro de la banca: | Villaca, Rodolfo da Silva |
Resumen: | O gerenciamento de recursos em ambientes de computação de nuvem é um desafio crítico, no qual um mecanismo de orquestração busca garantir a utilização otimizada de recursos mantendo a qualidade do serviço, evitando desperdícios e reduzindo custos. Uma abordagem promissora para automatizar essa tarefa envolve o uso de técnicas de aprendizado de máquina. No entanto, essa abordagem também enfrenta desafios no treinamento online em ambientes reais, relacionados à complexidade dos sistemas, longas durações de treinamento, restrições de segurança e rigidez do sistema. Esta dissertação tem como objetivo aprimorar e viabilizar o processo de treinamento de Aprendizado por Reforço para tarefas relacionadas à orquestração de recursos de serviços de nuvem, utilizando a Transferência de Aprendizado. Um ambiente fonte foi construído, composto por um modelo de simulação do serviço, e o conhecimento adquirido em treinamento em simulação foi transferido para aprimorar o novo treinamento no ambiente do mundo real. Uma análise comparativa entre TL e métodos de treinamento tradicionais apresenta resultados positivos, incluindo uma redução substancial no tempo necessário para alcançar um desempenho razoável, melhorias de até 40% no desempenho inicial dos agentes e um aprimoramento de até 30% no desempenho geral durante as fases de treinamento e teste. Por fim, foi demonstrado que um agente treinado em simulação pode ser reutilizado diretamente no ambiente real sem treinamento adicional, produzindo resultados satisfatórios e consistentes. |
Abstract: | Resource management in cloud computing environments is a critical challenge, where an orchestration mechanism seeks to ensure optimized resource utilization while maintaining service quality, preventing waste, and reducing costs. A promising approach to automating this task involves employing machine learning techniques. However, this approach also faces challenges in real-world online training, related to system complexity, extended training durations, safety restrictions, and system rigidity. This dissertation aims to enhance and streamline the Deep Reinforcement Learning training process for tasks related to the orchestration of cloud service resources by employing the Transfer Learning (TL) technique. A source environment was built, comprising a simulation of the target service, and knowledge acquired through simulation training was transferred to enhance training in the real-world service environment. Comparative analysis between TL-based and standard training reveals positive outcomes, including a substantial reduction in time required to achieve reasonable performance, improvements of up to 40% in the initial performance of agents, and up to a 30% enhancement in overall performance during training and testing phases. Finally, it was demonstrated that an agent trained in simulation could be deployed directly into the real environment without additional training, yielding satisfactory and consistent outcomes. |
Palabras clave: | Transfer Learning Deep Reinforcement Learning Machine Learning Orchestration Resource Management Elasticity Cloud Service Cassandra Database Transferência de Aprendizado Aprendizado por Reforço Profundo Aprendizado de Máquina Orquestração Gerenciamento de Recursos Elasticidade Serviço de Nuvem Autoscaling |
Área (s) del CNPq: | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
Tema: | Ciência da Computação Programas de aprendizado Dispositivos de treinamento simulado |
Idioma: | eng |
País: | Brasil |
Editora: | Universidade Federal de Uberlândia |
Programa: | Programa de Pós-graduação em Ciência da Computação |
Cita: | CUNHA, Ian Resende da. Transfer of Deep Reinforcement Learning for Cloud Service's Elasticity. 2024. 90 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.di.2024.173. |
Identificador del documento: | http://doi.org/10.14393/ufu.di.2024.173 |
URI: | https://repositorio.ufu.br/handle/123456789/42138 |
Fecha de defensa: | 29-feb-2024 |
Objetivos de Desarrollo Sostenible (ODS): | ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação. |
Aparece en las colecciones: | DISSERTAÇÃO - Ciência da Computação |
Ficheros en este ítem:
Fichero | Descripción | Tamaño | Formato | |
---|---|---|---|---|
TransferenciaAprendizadoReforco.pdf | Dissertação | 1.66 MB | Adobe PDF | Visualizar/Abrir |
Este ítem está sujeto a una licencia Creative Commons Licencia Creative Commons