Publicação: Desenvolvimento e avaliação de chatbot pedagógico open source com RAG para educação online
Carregando...
Tipo do documento
Data
Direito de acesso
Programa
Área do conhecimento
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
Título da Revista
ISSN da Revista
Título de Volume
Autores
Orientador
Coorientador
Resumo
Este trabalho detalha uma metodologia abrangente para o desenvolvimento e avaliação de um chatbot pedagógico em plataformas educacionais, priorizando a acessibilidade e reprodutibilidade com ferramentas open source. O processo iniciou-se com a construção de um dataset detalhado do curso CS50, empregando técnicas de web scraping e processamento de texto para estruturar a base de conhecimento.
Com base neste dataset, geraram-se dados sintéticos de Perguntas e Respostas (QA) ricos e diversificados, formulados segundo os níveis cognitivos da Taxonomia de Bloom. A qualidade destes dados foi rigorosamente avaliada por meio de métricas automáticas do framework RAGAS, tais como Faithfulness, Question Quality (via Simple Criteria Score) e Response Relevancy. Esta abordagem foi complementada por supervisão humana, e a análise subsequente revelou correlações moderadas, mas estatisticamente significativas, entre as métricas automáticas e as avaliações humanas, validando a utilidade do RAGAS.
A etapa seguinte consistiu na avaliação do chatbot pedagógico, implementado com o software OpenWebUI e alimentado pela base de conhecimento do CS50. Compararam-se os modelos Gemini-2.0-Flash (proprietário) e GPT-OSS-20B (open-weight) na geração de respostas. Os resultados não apontaram diferença estatisticamente significativa na métrica Factual Correctness entre o modelo proprietário e o open-weight. Este achado reforça a viabilidade técnica de soluções open source para fornecer suporte pedagógico factualmente correto, mitigando custos e promovendo um cenário educacional mais inclusivo e equitativo.
Abstract
This paper details a comprehensive methodology for the development and evaluation of a pedagogical chatbot for educational platforms, prioritizing accessibility and reproducibility with open-source tools. The process began with the construction of a detailed dataset from the CS50 course, employing web scraping and text processing techniques to structure the knowledge base.
Based on this dataset, rich and diverse synthetic Question-Answer (QA) data were generated, formulated according to the cognitive levels of Bloom's Taxonomy. The quality of this data was rigorously evaluated using automated metrics from the RAGAS framework, such as Faithfulness, Question Quality (via Simple Criteria Score), and Response Relevancy. This approach was complemented by human supervision, and the subsequent analysis revealed moderate, yet statistically significant, correlations between the automated metrics and human assessments, thereby validating the utility of RAGAS.
The next stage consisted of evaluating the pedagogical chatbot, implemented with the OpenWebUI software and powered by the CS50 knowledge base. A comparison was made between the Gemini-2.0-Flash (proprietary) and GPT-OSS-20B (open-weight) models in response generation. The results indicated no statistically significant difference in the Factual Correctness metric between the proprietary and the open-weight models. This finding reinforces the technical viability of open-source solutions for providing factually correct pedagogical support, mitigating costs and promoting a more inclusive and equitable educational landscape.
Palavras-chave
Inteligência artificial na educação, Artificial Intelligence in education, LLMs, Chatbots pedagógicos, Pedagogical chatbots, RAG, Open source
Citação
BORGES, Jonathan Martins. Desenvolvimento e avaliação de chatbot pedagógico open source com RAG para educação online. 2025. 96 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) – Universidade Federal de Uberlândia, Uberlândia, 2025.
DOI
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como Acesso Aberto