Publicação: Uso de Large Language Models (LLMs) para Auxílio na Correção de Bugs
Carregando...
Arquivos
Tipo do documento
Data
Direito de acesso
Programa
Área do conhecimento
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Título da Revista
ISSN da Revista
Título de Volume
Orientador
Coorientador
Resumo
Bugs são um problema frequente enfrentado por desenvolvedores, tornando a identiĄcação
e compreensão deles uma tarefa árdua, especialmente para aqueles que estão aprendendo
uma nova tecnologia de programação. A complexidade de localizar e corrigir bugs aumenta
conforme a linguagem, e o nível de experiência do desenvolvedor. Nesse cenário, os LLMs
(Modelos de Linguagem de Grande Escala) surgem como uma nova tecnologia, que pode
ser aplicadas em diversas tarefas do desenvolvimento de software, incluindo a detecção
e explicação de bugs. O presente estudo visa avaliar e analisar a capacidade dos LLMs,
especialmente o Gemini e o GPT (Generative Pre-trained Transform) na identiĄcação e
explicação de bugs de programação. Além de desenvolver e avaliar uma ferramenta para
auxiliar desenvolvedores na identiĄcação e correção de bugs em seus códigos-fonte. Além
disso, esse estudo tem como objetivo realizar uma análise crítica da qualidade das explicações geradas pelos LLMs. Para realizar essa análise, foram utilizados 40 exemplos de
códigos contendo bugs, obtidos do StackOverĆow, sendo 10 exemplos para cada uma das
seguintes linguagens: Java, Python, C e Kotlin. Esses códigos foram processados pelos
LLMs, e avaliou-se se os bugs foram identiĄcados, e se as explicações fornecidas sobre
os bugs foram satisfatórias. No processo de avaliação das explicações, foram considerados
critérios como clareza, e coerência lógica no esclarecimento das causas dos bugs. Além
disso, foi desenvolvida uma ferramenta web em Flask, que visa identiĄcar e explicar os
bugs presentes no código fonte fornecido pelo usuário, que a partir da intenção do usuário
e o código fornecido, a correção é feita por meio de uma chamada à API do Gemini. Essa
tecnologia foi escolhida por ser gratuita e também pela eĄciência da mesma, conforme
os resultados deste estudo. Também foi elaborado um questionário no qual foi aplicado
a usuários que utilizaram a ferramenta para avaliarem a eĄciência da mesma. Com isso,
chegaram-se aos seguintes resultados: todos os LLMs obtiveram 100% de acertos na identiĄcação dos bugs. No entanto, quanto à satisfação com as explicações dos bugs, observou-se
que o GPT foi satisfatório em todos os problemas nas linguagens Java, C e Kotlin; já em
Python, 8 dos 10 exemplos de códigos apresentaram explicações satisfatórias. Com o Gemini, as explicações foram satisfatórias em 8 exemplos de códigos nas linguagens Java e
Python, enquanto em Kotlin e C, todas as explicações foram satisfatórias. Com relação
ao questionário aplicado, a ferramenta foi bem avaliada pelos usuários.
Abstract
Palavras-chave
LLMs, bugs, identiĄcação de bugs, desenvolvimento de software, código fonte.
Citação
SA, Antonio Marcos Barbosa de. Uso de Large Language Models (LLMs) para Auxílio na Correção de Bugs. 2024. 34 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) – Universidade Federal de Uberlândia, Uberlândia, 2024.