Publicação: Análise experimental do desempenho de grandes modelos de linguagens na detecção de notícias falsas
Carregando...
Tipo do documento
Data
Direito de acesso
Programa
Área do conhecimento
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Título da Revista
ISSN da Revista
Título de Volume
Autores
Orientador
Coorientador
Quincozes, Silvio Ereno
Resumo
A disseminação de notícias falsas tornou-se uma preocupação significativa na sociedade
atual. Esse problema é evidente em plataformas de mídia social, onde a propagação de desinformação
se tornou uma presença constante na vida diária de muitos indivíduos. Neste
trabalho, é investigado o desempenho das ferramentas GPT e Bard na classificação de
notícias falsas e reais, considerando 200 artigos de jornal e duas estratégias de formulação
de perguntas. Os resultados revelam que o uso de uma pergunta bem formulada é crucial
para obter respostas mais precisas. Em particular, foi observado uma melhoria de 46.6%
na métrica F1-Score no primeiro modelo do GPT direcionando a pergunta para focar nas
características de um texto falso. No segundo modelo o F1-Score registrou uma melhoria
de 22.22% para 76.68% quando o foco do prompt era nas características de uma notícia
falsa. Já no Bard os resultados foram mais timídos, com um F1-Score de 40.45% já na
pergunta mais específica. As descobertas apresentadas nesse estudo indicam a superioridade
do GPT em relação ao Bard. Ao realizar a detecção de fake news em todos os testes
a ferramenta da OpenAI foi superior à ferramenta da Google na métrica de F1-Score.
Abstract
Palavras-chave
ChatGPT, Bard, Inteligência artifical, Detecção de fake news, Processamento de linguagem natural
Citação
ANJOS, Lucas Sousa dos. Análise experimental do desempenho de grandes modelos de linguagens na detecção de notícias falsas. 2023. 52 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) - Universidade Federal de Uberlândia, Uberlândia, 2023.