Publicação: Um estudo quantitativo sobre a variabilidade dos tempos de
execução de programas em experimentos computacionais
Carregando...
Tipo do documento
Data
Direito de acesso
Área do conhecimento
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Título da Revista
ISSN da Revista
Título de Volume
Autores
Orientador
Coorientador
Resumo
Na pesquisa experimental em Ciência da Computação muitos trabalhos dependem
da correta mensuração e da análise dos tempos de execução de programas de
computador. Observa-se que nem todos consideram que repetidas execuções do
mesmo programa possam produzir tempos de execução significativamente
diferentes em termos estatísticos. Em virtude disso, realizou-se um estudo
quantitativo sobre a variabilidade dos tempos de execução de programas, com o
objetivo de estabelecer um protocolo para análise quantitativa comparativa de
tempos de execução de programas em experimentos computacionais. Assim sendo,
três experimentos foram configurados e executados de modo a permitirem a
observação de alguns fatores presentes no ambiente computacional, em especial,
relacionados com o sistema operacional. Os fatores escolhidos foram: o Runlevel, a
Otimização do compilador, o Tamanho de uma Variável de Ambiente, o Número de
Threads e as Estratégias de Alocação de Threads. Os resultados obtidos com o
protocolo RTA demonstram que esses fatores são capazes de influenciar os tempos
de execução dos programas, levando a conclusões equivocadas. Em alguns casos, a
diferença estatística entre dois tratamentos de um experimento chegou a100% das
comparações. Além disso, observou-se que a distribuição dos tempos de execução
nem sempre é aderente a uma distribuição Gaussiana. Observou-se, também, que,
em análises de significância com múltiplos tratamentos, o problema conhecido
como familywise error rate deve ser considerado e deve ser tratado, pois ele também
pode levar a conclusões equivocadas. Assim, essas observações enfatizam o uso de
um ambiente experimental controlado e o uso de uma metodologia estatística para
a análise estatística de múltiplas comparações.
Abstract
In experimental research in computer science many works depend on correct
measurement and analysis of the execution times of computer programs. It is
observed that not all hold that repeated executions of the same program can
produce significantly different execution times in statistical terms. Because of this,
there was a quantitative study on the variability of programs execution times, in
order to establish a protocol for comparative quantitative analysis of execution
times of programs in computational experiments. Subsequently, three experiments
were set up and implemented so as to allow the observation of some factors present
in the computing environment, in particular related to the operating system. The
factors chosen were: Runlevel, compiler Optimization, the Size of an Environment
Variable, the Number of Threads and Thread Allocation Strategies. The results
obtained with the RTA protocol demonstrate that these factors can influence the
program execution times, leading to erroneous conclusions. In some cases, the
statistical difference between treatments in an experiment reached 100% of the
comparisons. Furthermore, it was observed that the distribution of execution times
is not always adhered to a Gaussian distribution. It was observed also that in
significance analysis with multiple treatments, the problem known as familywise
error rate should be considered and should be treated because it can also lead to
wrong conclusions. Thus, these observations emphasize the use of a controlled
computing environment and using a statistical method for statistical analysis of
multiple comparisons.
Palavras-chave
Tempos de execução, Variabilidade, Sistemas operacionais, Múltiplas comparações, Execution times, Variability, Operating systems, Multiple comparisons, Computação, Sistemas operacionais (Computadores), Programas de computador
Citação
NOGUEIRA, Paulo Eduardo. Um estudo quantitativo sobre a variabilidade dos tempos de
execução de programas em experimentos computacionais. 2015. 186 f. Dissertação (Mestrado em Ciências Exatas e da Terra) - Universidade Federal de Uberlândia, Uberlândia, 2015. DOI https://doi.org/10.14393/ufu.di.2015.183