Por favor, use este identificador para citar o enlazar este ítem:
https://repositorio.ufu.br/handle/123456789/49397| ORCID: |  http://orcid.org/0009-0006-4487-3948 |
| Tipo de documento: | Trabalho de Conclusão de Curso |
| Tipo de acceso: | Acesso Aberto |
| Título: | Desenvolvimento de um framework de benchmarking para avaliação de modelos de linguagem proprietários e open source |
| Título (s) alternativo (s): | Development of a benchmarking framework for the evaluation of proprietary and open-source language models |
| Autor: | Queiroz, Caio Cezar |
| Primer orientador: | Park, Kil Jin Brandini |
| Primer miembro de la banca: | Cardoso, Alexandre |
| Segundo miembro de la banca: | Cunha, Lucas Gonçalves |
| Resumen: | As tecnologias de inteligência artificial generativa, em especial os grandes modelos de linguagem (Large Language Models – LLMs), têm se destacado como ferramentas centrais em diversas aplicações computacionais. Entretanto, a predominância de soluções proprietárias levanta questões relacionadas à transparência, flexibilidade e dependência tecnológica. Assim, o objetivo deste trabalho é apresentar e avaliar um framework experimental de comparação entre modelos de linguagem proprietários e open source, utilizando métricas quantitativas e benchmarks padronizados. Foram empregados modelos da família Gemini (Google) e alternativas open source, como LLaMA, GPT-OSS e Qwen, avaliados por meio da Google Generative AI API e da Groq API, respectivamente. O estudo adota uma abordagem quantitativa e experimental, utilizando as métricas ROUGE, BLEU, BERTScore e os benchmarks MMLU e HellaSwag, complementados por análises com a ferramenta EvidentlyAI. Os resultados demonstram a viabilidade do sistema como ferramenta de benchmarking, ressaltando o potencial das soluções abertas e a importância de metodologias transparentes para a avaliação de LLMs. |
| Abstract: | Generative artificial intelligence technologies, especially Large Language Models (LLMs), have emerged as central tools in computational applications. However, the predominance of proprietary solutions raises questions about transparency, flexibility, and technological dependency. Therefore, the objective of this work is to present and evaluate an experimental framework for comparing proprietary and open-source language models, using quantitative metrics and standardized benchmarks. Models from the Gemini family (Google) and opensource alternatives such as LLaMA, GPT-OSS and Qwen were employed, evaluated through the Google Generative AI API and Groq API, respectively. The study adopts a quantitative and experimental approach, using the ROUGE, BLEU, and BERTScore metrics, as well as the MMLU and HellaSwag benchmarks, complemented by analyses with the EvidentlyAI tool. The results demonstrate the feasibility of the system as a benchmarking tool, highlighting the potential of open solutions and the importance of transparent methodologies for LLM evaluation. |
| Palabras clave: | Inteligência Artificial Generativa LLM Open Source Grandes Modelos de Linguagem Benchmarking Generative Artificial Intelligence Large Language Models |
| Área (s) del CNPq: | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO CNPQ::ENGENHARIAS |
| Idioma: | por |
| País: | Brasil |
| Editora: | Universidade Federal de Uberlândia |
| Cita: | QUEIROZ, Caio Cezar. Desenvolvimento de um framework de benchmarking para avaliação de modelos de linguagem proprietários e open source. 2026. 67 f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Computação) – Universidade Federal de Uberlândia, Uberlândia, 2026. |
| URI: | https://repositorio.ufu.br/handle/123456789/49397 |
| Fecha de defensa: | 7-jul-2026 |
| Aparece en las colecciones: | TCC - Engenharia de Computação |
Ficheros en este ítem:
| Fichero | Descripción | Tamaño | Formato | |
|---|---|---|---|---|
| DesenvolvimentoFrameworkBenchmarking.pdf | TCC | 5.72 MB | Adobe PDF |  Visualizar/Abrir |
Este ítem está sujeto a una licencia Creative Commons Licencia Creative Commons
