Publicação: Desenvolvimento de um framework de benchmarking para avaliação de modelos de linguagem proprietários e open source
Carregando...
Tipo do documento
Data
Direito de acesso
Coleções
Programa
Área do conhecimento
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO, CNPQ::ENGENHARIAS
Título da Revista
ISSN da Revista
Título de Volume
Autores
Orientador
Coorientador
Resumo
As tecnologias de inteligência artificial generativa, em especial os grandes modelos de
linguagem (Large Language Models – LLMs), têm se destacado como ferramentas centrais em
diversas aplicações computacionais. Entretanto, a predominância de soluções proprietárias
levanta questões relacionadas à transparência, flexibilidade e dependência tecnológica. Assim,
o objetivo deste trabalho é apresentar e avaliar um framework experimental de comparação
entre modelos de linguagem proprietários e open source, utilizando métricas quantitativas e
benchmarks padronizados. Foram empregados modelos da família Gemini (Google) e
alternativas open source, como LLaMA, GPT-OSS e Qwen, avaliados por meio da Google
Generative AI API e da Groq API, respectivamente. O estudo adota uma abordagem
quantitativa e experimental, utilizando as métricas ROUGE, BLEU, BERTScore e os
benchmarks MMLU e HellaSwag, complementados por análises com a ferramenta EvidentlyAI.
Os resultados demonstram a viabilidade do sistema como ferramenta de benchmarking,
ressaltando o potencial das soluções abertas e a importância de metodologias transparentes para
a avaliação de LLMs.
Abstract
Generative artificial intelligence technologies, especially Large Language Models (LLMs),
have emerged as central tools in computational applications. However, the predominance of
proprietary solutions raises questions about transparency, flexibility, and technological
dependency. Therefore, the objective of this work is to present and evaluate an experimental
framework for comparing proprietary and open-source language models, using quantitative
metrics and standardized benchmarks. Models from the Gemini family (Google) and opensource alternatives such as LLaMA, GPT-OSS and Qwen were employed, evaluated through
the Google Generative AI API and Groq API, respectively. The study adopts a quantitative and
experimental approach, using the ROUGE, BLEU, and BERTScore metrics, as well as the
MMLU and HellaSwag benchmarks, complemented by analyses with the EvidentlyAI tool. The
results demonstrate the feasibility of the system as a benchmarking tool, highlighting the
potential of open solutions and the importance of transparent methodologies for LLM
evaluation.
Palavras-chave
Inteligência Artificial Generativa, LLM, Open Source, Grandes Modelos de Linguagem, Benchmarking, Generative Artificial Intelligence, Large Language Models
Citação
QUEIROZ, Caio Cezar. Desenvolvimento de um framework de benchmarking para avaliação de modelos de linguagem proprietários e open source. 2026. 67 f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Computação) – Universidade Federal de Uberlândia, Uberlândia, 2026.
DOI
Coleções
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como Acesso Aberto