Please use this identifier to cite or link to this item: https://repositorio.ufu.br/handle/123456789/29401
ORCID:  http://orcid.org/0000-0002-8047-4032
Document type: Tese
Access type: Acesso Aberto
Title: CROKAGE: effective solution recommendation for programming tasks by leveraging crowd knowledge
Alternate title (s): CROKAGE: recomendações de soluções efetivas para tarefas de programação a partir do conhecimento da multidão
Author: Silva, Rodrigo Fernandes Gomes da
First Advisor: Maia, Marcelo de Almeida
First member of the Committee: Pinto, Gustavo Henrique Lima
Second member of the Committee: Lemos, Otavio Augusto Lazzarini
Third member of the Committee: Dorça, Fabiano Azevedo
Fourth member of the Committee: Albertini, Marcelo Keese
Summary: Desenvolvedores frequentemente buscam por exemplos de código na internet para suas tarefas de programação. Infelizmente, eles enfrentam três grandes problemas. Primeiro, eles normalmente precisam ler e analisar diversos resultados das ferramentas de busca até obterem uma solução satisfatória. Segundo, a busca é prejudicada devido a uma lacuna léxica entre a consulta (descrição da tarefa) e a informação associada à solução (ex. exemplo de código). Terceiro, a solução recuperada pode não ser compreensível, como por exemplo, apenas um trecho de código sem uma explicação sucinta. Para tratar esses três problemas, propomos CROKAGE (Gerador de Respostas de Conhecimento da Multidão), uma ferramenta que recebe a descrição de uma tarefa de programação em linguagem natural e fornece uma solução compreensível para a tarefa, isto é, uma solução que contém não somente exemplos de código relevantes, mas também suas explicações sucintas escritas por desenvolvedores. Primeiramente, o conhecimento da multidão presente no Stack Overflow é utilizado para recuperar respostas candidatas para a tarefa de programação. Em seguida, um mecanismo de relevância composto de múltiplos fatores é usado para mitigar o problema da lacuna léxica e selecionar as respostas com melhor qualidade relacionadas à tarefa. Finalmente, ocorre um processamento de linguagem natural nas respostas de melhor qualidade para entregar as soluções de programação contendo os exemplos de código acompanhados de suas explicações, ao contrário dos estudos anteriores. CROKAGE foi avaliada e comparada com sete outras abordagens-base, incluindo o estado da arte. CROKAGE superou as sete outras no fornecimento de soluções relevantes para 902 tarefas de programação. Além disso, um estudo com 24 tarefas de programação e 29 desenvolvedores, confirmando a superioridade de CROKAGE sobre o estado da arte em termos de relevância dos exemplos de código sugeridos, benefício das explicações do código e da qualidade geral da solução (código + explicação).
Abstract: Developers often search for relevant code examples on the web for their programming tasks. Unfortunately, they face three major problems. First, they frequently need to read and analyse multiple results from the search engines to obtain a satisfactory solution. Second, the search is impaired due to a lexical gap between the query (task description) and the information associated with the solution (e.g., code example). Third, the retrieved solution may not be comprehensive, i.e., the code segment might miss a succinct explanation. To address these three problems, we propose CROKAGE (Crowd Knowledge Answer Generator), a tool that takes the description of a programming task (the query) and delivers a comprehensive solution for the task. Our solutions contain not only relevant code examples but also their succinct explanations written by human developers. The search for code examples is modeled as an Information Retrieval (IR) problem. We first leverage the crowd knowledge stored in Stack Overflow to retrieve the candidate answers against a programming task. Then we use a multi-factor relevance mechanism to mitigate the lexical gap problem, and select the top quality answers related to the task. Finally, we perform natural language processing on the top quality answers and deliver the comprehensive solutions containing both code examples and code explanations unlike earlier studies. We evaluate and compare our approach against seven baselines, including the state-of-art. We show that CROKAGE outperforms the seven baselines in suggesting relevant solutions for 902 programming tasks (i.e., queries). Furthermore, a user study with 24 queries and 29 developers confirms the superiority of CROKAGE over the state-of-art tool in terms of relevance of the suggested code examples, benefit of the code explanations and the overall solution quality (code + explanation).
Keywords: Mining crowd knowledge
Mineração de conhecimento da multidão
Stack overflow
Word embedding
Code search
Busca de código
Area (s) of CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Language: eng
Country: Brasil
Publisher: Universidade Federal de Uberlândia
Program: Programa de Pós-graduação em Ciência da Computação
Quote: SILVA, Rodrigo Fernandes Gomes da. CROKAGE: effective solution recommendation for programming tasks by leveraging crowd knowledge. 2020. 94 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2020. Disponível em: http://doi.org/10.14393/ufu.te.2020.454.
Document identifier: http://doi.org/10.14393/ufu.te.2020.454
URI: https://repositorio.ufu.br/handle/123456789/29401
Date of defense: 29-May-2020
Appears in Collections:TESE - Ciência da Computação

Files in This Item:
File Description SizeFormat 
CROKAGEEffectiveSolutionRecommendation.pdf11.64 MBAdobe PDFThumbnail
View/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.