Publication: Desenvolvimento de um framework de benchmarking para avaliação de modelos de linguagem proprietários e open source
Loading...
submission.sections.submit.progressbar.describe.tipo
Date
submission.sections.submit.progressbar.describe.acesso
Collections
item.page.program
item.page.cnpq
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO, CNPQ::ENGENHARIAS
Journal Title
Journal ISSN
Volume Title
Authors
item.page.advisor1
item.page.coAdvisors
Summary
As tecnologias de inteligência artificial generativa, em especial os grandes modelos de
linguagem (Large Language Models – LLMs), têm se destacado como ferramentas centrais em
diversas aplicações computacionais. Entretanto, a predominância de soluções proprietárias
levanta questões relacionadas à transparência, flexibilidade e dependência tecnológica. Assim,
o objetivo deste trabalho é apresentar e avaliar um framework experimental de comparação
entre modelos de linguagem proprietários e open source, utilizando métricas quantitativas e
benchmarks padronizados. Foram empregados modelos da família Gemini (Google) e
alternativas open source, como LLaMA, GPT-OSS e Qwen, avaliados por meio da Google
Generative AI API e da Groq API, respectivamente. O estudo adota uma abordagem
quantitativa e experimental, utilizando as métricas ROUGE, BLEU, BERTScore e os
benchmarks MMLU e HellaSwag, complementados por análises com a ferramenta EvidentlyAI.
Os resultados demonstram a viabilidade do sistema como ferramenta de benchmarking,
ressaltando o potencial das soluções abertas e a importância de metodologias transparentes para
a avaliação de LLMs.
Abstract
Generative artificial intelligence technologies, especially Large Language Models (LLMs),
have emerged as central tools in computational applications. However, the predominance of
proprietary solutions raises questions about transparency, flexibility, and technological
dependency. Therefore, the objective of this work is to present and evaluate an experimental
framework for comparing proprietary and open-source language models, using quantitative
metrics and standardized benchmarks. Models from the Gemini family (Google) and opensource alternatives such as LLaMA, GPT-OSS and Qwen were employed, evaluated through
the Google Generative AI API and Groq API, respectively. The study adopts a quantitative and
experimental approach, using the ROUGE, BLEU, and BERTScore metrics, as well as the
MMLU and HellaSwag benchmarks, complemented by analyses with the EvidentlyAI tool. The
results demonstrate the feasibility of the system as a benchmarking tool, highlighting the
potential of open solutions and the importance of transparent methodologies for LLM
evaluation.
Keywords
Inteligência Artificial Generativa, LLM, Open Source, Grandes Modelos de Linguagem, Benchmarking, Generative Artificial Intelligence, Large Language Models
Citation
QUEIROZ, Caio Cezar. Desenvolvimento de um framework de benchmarking para avaliação de modelos de linguagem proprietários e open source. 2026. 67 f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Computação) – Universidade Federal de Uberlândia, Uberlândia, 2026.
item.page.doi
Collections
Endorsement
Review
Supplemented By
Referenced By
Creative Commons license
Except where otherwise noted, this item's license is described as Acesso Aberto