Publicação: Sistema estruturado e híbrido de recomendação de problemas de programação no Codeforces: perfil multitag e recuperação semântica
Carregando...
Tipo do documento
Data
Direito de acesso
Programa
Área do conhecimento
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Título da Revista
ISSN da Revista
Título de Volume
Autores
Orientador
Coorientador
Resumo
As plataformas de Juízes Online oferecem grandes catálogos de problemas de programação, mas a escolha de atividades compatíveis com a experiência de cada competidor
pode ser difícil, principalmente porque o nível pode variar entre diferentes assuntos. Este
trabalho teve como objetivo desenvolver e avaliar um sistema híbrido de recomendação
de problemas do Codeforces baseado em perfil de proficiência por tags, filtros estruturados, recuperação semântica por busca vetorial baseada em embeddings e seleção opcional
por um Modelo de Linguagem de Grande Escala (LLM). A avaliação utilizou registros
públicos de 85 competidores, cujos históricos de problemas resolvidos foram divididos
cronologicamente entre o passado observado e o futuro observado. O passado observado
foi utilizado para selecionar as três tags mais frequentes, calcular o nível operacional de
cada uma e produzir as recomendações. Foram comparadas quatro abordagens: estruturada sem LLM, estruturada com LLM, híbrida sem LLM e híbrida com LLM. No total,
foram avaliadas 340 listas e 3.400 recomendações. As abordagens híbridas alcançaram Hit
Rate@10 de 44,71%, enquanto as abordagens estruturadas obtiveram 9,41% e 10,59%. Na
recuperação híbrida, a utilização da LLM manteve o mesmo Hit Rate@10 e ampliou a
diversidade semântica média de 0,2121 para 0,2169, além de aumentar a variedade global
de 207 para 221 problemas distintos. Todas as recomendações permaneceram dentro da
faixa de dificuldade definida para cada tag. Os resultados apoiaram as três hipóteses no
cenário avaliado: o procedimento híbrido apresentou maior correspondência com o futuro
observado, a curadoria por LLM ampliou a diversidade e a variedade das listas, e os filtros
preservaram o controle da dificuldade.
Abstract
Online Judge platforms provide extensive catalogs of programming problems, but selecting activities suited to each competitor’s experience can be challenging, particularly
because proficiency may vary across topics. This study aimed to develop and evaluate
a hybrid Codeforces problem recommender system based on tag-specific proficiency profiles, structured filters, semantic retrieval through embedding-based vector search, and
optional curation using a Large Language Model (LLM). The evaluation used public records from 85 competitors, whose solved-problem histories were chronologically divided
into an observed past and an observed future. The observed past was used to identify
the three most frequent tags, calculate the operational proficiency level for each tag, and
generate recommendations. Four approaches were compared: structured retrieval without
an LLM, structured retrieval with an LLM, hybrid retrieval without an LLM, and hybrid
retrieval with an LLM. In total, 340 recommendation lists comprising 3,400 recommendations were evaluated. The hybrid approaches achieved a Hit Rate@10 of 44.71%, whereas
the structured approaches achieved 9.41% and 10.59%. In the hybrid setting, the use
of the LLM preserved the same Hit Rate@10, increased mean semantic diversity from
0.2121 to 0.2169, and expanded the overall variety from 207 to 221 distinct problems. All
recommendations remained within the difficulty range defined for each tag. The results
supported all three research hypotheses in the evaluated scenario: the hybrid procedure
produced greater correspondence with the observed future, LLM-based curation increased
the diversity and variety of the recommendation lists, and the structured filters preserved
difficulty control.
Palavras-chave
Sistemas de Recomendação, Programação Competitiva, Codeforces, Recuperação Semântica, Geração Aumentada por Recuperação, Retrieval-Augmented Generation, Competitive Programming, Codeforces, Recommendation System, Semantic Retrieval
Citação
KOBA, Júlia Akemi. Sistema estruturado e híbrido de recomendação de problemas de programação no Codeforces: perfil multitag e recuperação semântica. 2026. 66 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) – Universidade Federal de Uberlândia, Monte Carmelo, 2026.