Use este identificador para citar ou linkar para este item:
https://repositorio.ufu.br/handle/123456789/34337
ORCID: | http://orcid.org/0000-0002-3314-3230 |
Tipo do documento: | Dissertação |
Tipo de acesso: | Acesso Aberto |
Título: | A atualização do valor crítico interfere na performance do procedimento Data Snooping? |
Título(s) alternativo(s): | Does updating the critical value interfere with the performance of the Data Snooping procedure? |
Autor(es): | Bonimani, Maria Luisa Silva |
Primeiro orientador: | Matsuoka, Marcelo Tomio |
Primeiro coorientador: | Rofatto, Vinicius Francisco |
Primeiro membro da banca: | Klein, Ivandro |
Segundo membro da banca: | x, x |
Resumo: | Na era do Big Data detectar outlier no conjunto de dados se tornou uma das atividades mais importantes. Na Geodésia o Data Snooping é o procedimento mais utilizado para identificação de outliers. Para o controle da taxa de erro tipo I, isto é, falsos positivos, os valores críticos devem ser obtidos por meio do método Monte Carlo. No entanto, até agora os estudos foram realizados sem considerar a atualização do valor crítico no processo iterativo do Data Snooping. Uma vez que para realizar o controle efetivo da taxa de erro tipo I o valor crítico deve ser atualizado todas as vezes que uma observação for identificada como outlier e removida do conjunto de dados. Aqui investigamos se a atualização do valor crítico interfere na performance do procedimento Data Snooping e calculamos o valor crítico por meio dos métodos Monte Carlo, Rede Neural Artificial e correção Šidák. Para esse experimento consideramos uma rede fechada de nivelamento com correlação máxima entre os resíduos de 41,46%. Considerando níveis de significância menores ou iguais a 10% (α’ ≤ 10%), a atualização do valor crítico não apresenta diferenças significativas quando comparados com os valores críticos não atualizados, apresentando uma diferença máxima de ΔKSBPNN=0,0389 (α = 0,001), ΔKsid=0,0507(α = 0,001) e ΔKMC=0,0256 (α = 0,1) para o caso de uma exclusão e uma diferença máxima de ΔKSBPNN=0,1023 (α = 0,001), ΔKsid=0,1353 (α = 0,001) e ΔKMC=0,0773 (α = 0,001) para o caso de 2 exclusões. A atualização do valor crítico também não causa diferenças significativas nas taxas de correta identificação de outliers apresentando um ΔPCI máximo de < 0,5%. Desta forma, os experimentos mostraram que a atualização do valor crítico não causa efeitos significativos na performance do Data Snooping para níveis de significância menores ou iguais a 10% (α’ ≤ 10%). |
Abstract: | In the age of Big Data, detecting outlier in the data set has become one of the most important activities. In Geodesy, Data Snooping is the most widely used procedure for identifying outliers. To control the type I error rate, that is, false positives, critical values must be obtained using the Monte Carlo method. However, so far, studies have been conducted without considering the update of the critical value of the iterative process of Data Snooping. Since to effectively control the type I error rate the critical value must be updated every time an observation is identified as an outlier and removed from the data set. Here we investigate whether updating the critical value interferes with the performance of the Data Snooping procedure and calculate the critical value using the Monte Carlo, Artificial Neural Network and Šidák correction methods. For this experiment, we considered a closed leveling network with a maximum correlation between residuals of 41.46%. Considering significance levels less than or equal to 10% (α' ≤ 10%), updating the critical value does not show significant differences when compared to the non-updated critical values, presenting a maximum difference of ΔKSBPNN=0,0389 (α = 0,001), ΔKsid=0,0507(α = 0,001) e ΔKMC=0,0256 (α = 0,1) for the case of 1 exclusion, and a maximum difference of ΔKSBPNN=0,1023 (α = 0,001), ΔKsid=0,1353 (α = 0,001) e ΔKMC=0,0773 (α = 0,001) for the case of 2 exclusions. Updating the critical value also does not cause significant differences in the correct outlier identification rates showing a maximum ΔP_CI < 0,5%. In this way, the experiments showed that updating the critical value does not cause significant effects on the performance of Data Snooping for significance levels less than or equal to 10% (α' ≤ 10%). |
Palavras-chave: | Confiabilidade Controle de Qualidade Data Snooping Detecção de outliers Monte Carlo Rede Neural Artificial Artificial Neural Network Data Snooping Monte Carlo Outlier Detection Quality Control Reliability. |
Área(s) do CNPq: | CNPQ::CIENCIAS AGRARIAS::AGRONOMIA |
Assunto: | Agronomia Redes neurais (Computação) Monte Carlo, Método de |
Idioma: | por |
País: | Brasil |
Editora: | Universidade Federal de Uberlândia |
Programa: | Programa de Pós-graduação em Agricultura e Informações Geoespaciais |
Referência: | BONIMANI, Maria Luisa Silva. A atualização do valor crítico interfere na performance do procedimento Data Snooping? 2022. 31 f. Dissertação (Mestrado em Agricultura e Informações Geoespaciais) – Universidade Federal de Uberlândia, Monte Carmelo, 2022. DOI: http://doi.org/10.14393/ufu.di.2022.149 |
Identificador do documento: | http://doi.org/10.14393/ufu.di.2022.149 |
URI: | https://repositorio.ufu.br/handle/123456789/34337 |
Data de defesa: | 28-Fev-2022 |
Aparece nas coleções: | DISSERTAÇÃO - Agricultura e Informações Geoespaciais (Monte Carmelo) |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
ATUALIZAÇÃOVALORCRÍTICO.pdf | Dissertação | 2.75 MB | Adobe PDF | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.