Please use this identifier to cite or link to this item: https://repositorio.ufu.br/handle/123456789/12587
Document type: Dissertação
Access type: Acesso Aberto
Title: Um estudo quantitativo sobre a variabilidade dos tempos de execução de programas em experimentos computacionais
Author: Nogueira, Paulo Eduardo
First Advisor: Matias Júnior, Rivalino
First member of the Committee: Macêdo, Autran
Second member of the Committee: Araújo, Lúcio Borges de
Third member of the Committee: Maciel, Paulo Romero Martins
Summary: Na pesquisa experimental em Ciência da Computação muitos trabalhos dependem da correta mensuração e da análise dos tempos de execução de programas de computador. Observa-se que nem todos consideram que repetidas execuções do mesmo programa possam produzir tempos de execução significativamente diferentes em termos estatísticos. Em virtude disso, realizou-se um estudo quantitativo sobre a variabilidade dos tempos de execução de programas, com o objetivo de estabelecer um protocolo para análise quantitativa comparativa de tempos de execução de programas em experimentos computacionais. Assim sendo, três experimentos foram configurados e executados de modo a permitirem a observação de alguns fatores presentes no ambiente computacional, em especial, relacionados com o sistema operacional. Os fatores escolhidos foram: o Runlevel, a Otimização do compilador, o Tamanho de uma Variável de Ambiente, o Número de Threads e as Estratégias de Alocação de Threads. Os resultados obtidos com o protocolo RTA demonstram que esses fatores são capazes de influenciar os tempos de execução dos programas, levando a conclusões equivocadas. Em alguns casos, a diferença estatística entre dois tratamentos de um experimento chegou a100% das comparações. Além disso, observou-se que a distribuição dos tempos de execução nem sempre é aderente a uma distribuição Gaussiana. Observou-se, também, que, em análises de significância com múltiplos tratamentos, o problema conhecido como familywise error rate deve ser considerado e deve ser tratado, pois ele também pode levar a conclusões equivocadas. Assim, essas observações enfatizam o uso de um ambiente experimental controlado e o uso de uma metodologia estatística para a análise estatística de múltiplas comparações.
Abstract: In experimental research in computer science many works depend on correct measurement and analysis of the execution times of computer programs. It is observed that not all hold that repeated executions of the same program can produce significantly different execution times in statistical terms. Because of this, there was a quantitative study on the variability of programs execution times, in order to establish a protocol for comparative quantitative analysis of execution times of programs in computational experiments. Subsequently, three experiments were set up and implemented so as to allow the observation of some factors present in the computing environment, in particular related to the operating system. The factors chosen were: Runlevel, compiler Optimization, the Size of an Environment Variable, the Number of Threads and Thread Allocation Strategies. The results obtained with the RTA protocol demonstrate that these factors can influence the program execution times, leading to erroneous conclusions. In some cases, the statistical difference between treatments in an experiment reached 100% of the comparisons. Furthermore, it was observed that the distribution of execution times is not always adhered to a Gaussian distribution. It was observed also that in significance analysis with multiple treatments, the problem known as familywise error rate should be considered and should be treated because it can also lead to wrong conclusions. Thus, these observations emphasize the use of a controlled computing environment and using a statistical method for statistical analysis of multiple comparisons.
Keywords: Tempos de execução
Variabilidade
Sistemas operacionais
Múltiplas comparações
Execution times
Variability
Operating systems
Multiple comparisons
Computação
Sistemas operacionais (Computadores)
Programas de computador
Area (s) of CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Language: por
Country: BR
Publisher: Universidade Federal de Uberlândia
Institution Acronym: UFU
Department: Ciências Exatas e da Terra
Program: Programa de Pós-graduação em Ciência da Computação
Quote: NOGUEIRA, Paulo Eduardo. Um estudo quantitativo sobre a variabilidade dos tempos de execução de programas em experimentos computacionais. 2015. 186 f. Dissertação (Mestrado em Ciências Exatas e da Terra) - Universidade Federal de Uberlândia, Uberlândia, 2015.
URI: https://repositorio.ufu.br/handle/123456789/12587
Date of defense: 20-Mar-2015
Appears in Collections:DISSERTAÇÃO - Ciência da Computação

Files in This Item:
File Description SizeFormat 
EstudoQuantitativoVariabilidade.pdf12.71 MBAdobe PDFThumbnail
View/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.