Please use this identifier to cite or link to this item: https://repositorio.ufu.br/handle/123456789/29044
ORCID:  http://orcid.org/0000-0003-4046-5577
Document type: Tese
Access type: Acesso Aberto
Title: Quality of accounting undergraduate programs in Brazil: How to estimate value-added?
Alternate title (s): Qualidade dos cursos de ciências contábeis no Brasil: Como calcular o valor agregado?
Author: Fernandes, Vivian Duarte Couto
First Advisor: Miranda, Gilberto José
First coorientator: Alexander, Nicola
First member of the Committee: Casa Nova, Silvia Pereira de Castro
Second member of the Committee: Freitas, Sheizi Calheira de
Third member of the Committee: Coimbra, Camila Lima
Fourth member of the Committee: Pereira, Janser Moura
Summary: Avaliar a qualidade escolar tem sido objeto de pesquisa de economistas, pedagogos, formuladores de políticas públicas e diversos stakeholders, em todo o mundo. No Brasil, o Sistema Nacional de Avaliação do Ensino Superior (SINAES) é uma iniciativa consolidada que busca avaliar os cursos de graduação do país, seu corpo docente e o desempenho acadêmico dos estudantes, divulgando indicadores de qualidade que atestam a diferença entre eles. Dentre estes indicadores, o Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) tem a proposta de medir a contribuição do curso para o desempenho do estudante durante a graduação. O IDD foi divulgado, pela primeira vez, em 2006 e desde então, sua metodologia de cálculo tem sido alterada na tentativa de revelar de forma mais precisa o valor agregado. Esta tese tem por objetivo investigar os impactos na classificação dos cursos de Ciências Contábeis no Brasil, quando se altera a metodologia de cálculo do IDD. O design quantitativo foi delineado, sendo testados quatro modelos de valor agregado. Estes modelos consideraram a trajetória histórica do IDD, mostrando quais alterações foram acontecendo desde 2006 e qual o impacto na mensuração da qualidade do curso divulgada. Foram utilizados dados de 2015 dos estudantes de Ciências Contábeis do Brasil que realizaram o Exame Nacional de Desempenho dos Estudantes (Enade), preencheram o questionário do estudante e que tiveram nota no Exame Nacional do Ensino Médio (Enem) quando da admissão no curso. A pesquisa contou com uma amostra de 30.668 estudantes, provenientes de 911 cursos, que representam 46,98% da população total. Os resultados mostram que o modelo atual utilizado é mais preciso para o cálculo do valor agregado quando comparado aos anteriores já utilizados pelo SINAES, no entanto, conforme preconiza a literatura e comprovam os dados, o modelo poderia ser melhorado com a inserção de variáveis explicativas do desempenho acadêmico, não controladas pelas instituições. Embora, estatisticamente, o modelo atual seja superior aos modelos utilizados anteriormente, ele ainda é inadequado, à medida em que trata todas as instituições e o estudantes de maneira igual. Neste sentido, propõe-se uma nova metodologia de cálculo do IDD (Modelo IDD-VDCF) em que variáveis significativas do desempenho acadêmico e não controladas pelos gestores são incluídas para o cálculo do valor agregado. Os resultados mostram que, ao nível do estudante, gênero, estado civil, hábitos de leitura e de estudo devem ser variáveis de controle, ao mesmo tempo em que, ao nível da instituição, o tipo de organização acadêmica, a modalidade de ensino e a região em que o curso de Ciências Contábeis é ofertado também devem ser incluídos como variável de controle do desempenho. A inserção destas variáveis reduziu o viés da estimativa do IDD associado à seleção do estudante em cursos de Ciências Contábeis específicos. A pesquisa ressalta a importância do IDD na identificação das diferenças entre os cursos e que ele deveria ser mais valorizado dentro do SINAES. Ao mesmo tempo, sugere-se o fim do indicador de qualidade “Conceito Preliminar de Curso” (CPC) uma vez que este indicador não é capaz de retratar a realidade da qualidade dos cursos. Embora exista diferença significativa entre os cursos ao calcular o IDD utilizando diferentes metodologias, a lógica de mensuração do CPC faz com que toda esta diferença seja reduzida e cursos bastantes distintos são tratados como de qualidade semelhante. Os resultados desta pesquisa contribuem não apenas para a discussão metodológica do cálculo do valor agregado no ensino superior, mas para a discussão sobre a avaliação da eficácia institucional para subsidiar a tomada de decisão dos legisladores. É preciso considerar o contexto de aprendizagem dos estudantes quando se quer comparar o desempenho entre as instituições a partir de testes padronizados, como o Enade. Embora o curso tenha grande responsabilidade sobre o desempenho acadêmico, fatores como motivação, comprometimento, aspirações profissionais e outros fatores não controlados pela instituição impactam nos resultados acadêmicos.
Abstract: School quality assessment has been the object of research by economists, educators, policy makers and various stakeholders worldwide. In Brazil the National Assessment System for Higher Education (Sinaes – Sistema Nacional de Avaliação do Ensino Superior) is a sound initiative that seeks to assess the country’s undergraduate programs, their faculty members, and the students’ academic achievement, as well as to provide quality indicators that account for the differences between them. One of such indicators is the Indicator of Difference between Observed and Expected Achievements (IDD – Indicador de Diferença entre os Desempenhos Observado e Esperado), which measures the contribution of an undergraduate program to its students’ achievements upon their undergraduate studies. The first IDD was released in 2006; since then, lawmakers have changed its estimation methodology, seeking to improve it as an accurate measure of value added. This doctoral dissertation aims to discuss such different methodologies and their impacts on the ranking of undergraduate programs in Accounting in Brazil, as provided through an indicator named Preliminary Program Quality Level (CPC – Conceito Preliminar de Curso). A quantitative design was used both to test four value-added models that included the historical records of the IDD and to identify the impact of changes in estimation methodology implemented since 2006 on the quality indicators of the undergraduate programs under scrutiny. The analysis was based on data from Brazilian Accounting students who took the 2015 National Exam of Student Achievement (Enade), completed a student questionnaire and had a valid score in the National Exam of High School Education (Enem) for admission to an undergraduate program. The sample consisted of 30,668 students from 911 undergraduate programs, which represents 46.98% of the total population. The results show that the current model is more accurate than the previous ones for estimating value added. However, both the literature and the findings indicate that the model could be improved by introducing explanatory variables for academic achievement that cannot be controlled by higher education institutions. Even though the current model is statistically more robust than the previous ones, it is still inappropriate because it misrepresents all institutions and all students as equals. A new IDD estimation methodology, Model IDD-VDCF, is proposed to estimate value added while still including significant variables of academic achievement that cannot be controlled by organization leaders. The findings point to 1) gender, marital status, and reading and study habits as control variables at the student level, and 2) type of higher education institution, learning modality, and regional location as control variables at the institution level. Such variables reduced the IDD estimate bias associated with student selection for admission to a given undergraduate program. This study suggests that the IDD is relevant to identify differences across undergraduate programs and it should bear more weight within the Sinaes. It also suggests that the CPC quality index should be abolished, as it is not able to portray the actual quality of the undergraduate programs. While the IDD points to significant differences across the undergraduate programs regardless of the methodology used, the rationale underlying the CPC estimation reduces such differences and renders distinct programs as similar in quality. Not only does this study contribute to the methodological discussion about how to estimate value added in higher education, but it also adds to the debates about how to assess the effectiveness of higher education institutions in order to support policy making. The students’ learning context must be considered when comparing performance across institutions through standardized exams such as the Enade – even though the undergraduate program bears great responsibility for their academic achievement, such factors as motivation, commitment, and professional aspirations, which are not subject to control by higher education institutions, can impact the academic outcomes.
Keywords: Value-added
School effectiveness
Quality
Higher education
Valor-agregado
Eficácia escolar
Qualidade
Educação superior
Area (s) of CNPq: CNPQ::CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::CIENCIAS CONTABEIS
Language: eng
Country: Brasil
Publisher: Universidade Federal de Uberlândia
Program: Programa de Pós-graduação em Ciências Contábeis
Quote: FERNANDES, Vivian Duarte Couto. Quality of accounting undergraduate programs in Brazil: how to estimate value-added?. 2020. 159 f. Tese (Doutorado em Ciências Contábeis) - Universidade Federal de Uberlândia, Uberlândia, 2020. Disponível em: http://doi.org/10.14393/ufu.te.2020.365
Document identifier: http://doi.org/10.14393/ufu.te.2020.365
URI: https://repositorio.ufu.br/handle/123456789/29044
Date of defense: 10-Feb-2020
Appears in Collections:TESE - Ciências contábeis

Files in This Item:
File Description SizeFormat 
QualityAccountingUndergraduate.pdfTese1.62 MBAdobe PDFThumbnail
View/Open


This item is licensed under a Creative Commons License Creative Commons