Publicação: Otimização do vision transformer no CIFAR-100: avaliação em ambientes computacionais distintos e estratégias de aprendizado
Carregando...
Tipo do documento
Data
Direito de acesso
Coleções
Programa
Área do conhecimento
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO::ARQUITETURA DE SISTEMAS DE COMPUTACAO, CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::LINGUAGENS DE PROGRAMACAO, CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAO
Título da Revista
ISSN da Revista
Título de Volume
Autores
Orientador
Coorientador
Resumo
O presente trabalho tem por objetivo principal estudar e analisar, por meio de experimentos, o funcionamento do modelo Vision Transformer (ViT), uma arquitetura de
aprendizado profundo originalmente proposta para tarefas de visão computacional e que,
neste projeto, foi aplicada ao processamento e classificação de imagens do conjunto de
dados CIFAR-100. Neste contexto, a proposta busca reproduzir e expandir os experimentos de um trabalho base de modo a avaliar estratégias que mantenham o melhor nível
de desempenho possível mesmo em cenários de recursos limitados. Assim, no desenvolvimento deste trabalho, foram exploradas diferentes configurações de execução e técnicas
de otimização, incluindo políticas dinâmicas de learning rate, ajustes de hiperparâmetros
e métodos de regularização, com o objetivo de melhorar a acurácia, acelerar a convergência e ampliar a capacidade de generalização do modelo. Com isso, este estudo contribui
ao sistematizar escolhas que permitem treinar o ViT de forma eficaz sem necessidade de
pré-treinamento em bases massivas, aproximando a prática acadêmica das condições reais
de muitos contextos de pesquisa.
Abstract
The main objective of this work is to study and analyze, through experiments, the functioning of the Vision Transformer (ViT) model, a deep learning architecture originally proposed for computer vision tasks and, in this project, applied to the processing and classification of images from the CIFAR-100 dataset. In this context, the proposal seeks to reproduce and expand upon the experiments of a baseline study in order to evaluate strategies that sustain the best possible performance even under limited-resource scenarios. Thus, during the development of this work, different execution configurations and optimization techniques were explored, including dynamic learning rate policies, hyperparameter adjustments, and regularization methods, with the goal of improving accuracy, accelerating convergence, and enhancing the model’s generalization capacity. In doing so, this study contributes by systematizing choices that enable training the ViT effectively without the need for pre-training on massive datasets, bringing academic practice closer to the real conditions of many research contexts.
Palavras-chave
Vision Transformer, CIFAR-100, Aprendizado profundo, Learning rate, Otimização de hiperparâmetros, Regularização, Deep learning, Taxa de aprendizado
Citação
CURTOLO, Brenno Cavalcanti. Otimização do Vision Transformer no CIFAR-100: avaliação em ambientes computacionais distintos e estratégias de aprendizado. 2025. 61 f. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Universidade Federal de Uberlândia, Uberlândia, 2025.
DOI
Coleções
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como Acesso Aberto