Publicação: Análise e processamento de dados usando Apache Kafka, Spark e Pinot
Carregando...
Arquivos
Tipo do documento
Data
Direito de acesso
Programa
Área do conhecimento
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO::ARQUITETURA DE SISTEMAS DE COMPUTACAO
Título da Revista
ISSN da Revista
Título de Volume
Autores
Orientador
Coorientador
Resumo
O volume de dados gerados pelos usuários tem crescido de forma exponencial. No entanto, muitas empresas enfrentam desafios na captura e análise dessas informações, o que impacta diretamente na geração de valor para seus negócios. Com isso o presente trabalho de conclusão de curso tem o objetivo de apresentar uma forma de realizar análise de dados no âmbito de Big Data, utilizando os softwares Apache Kafka para consumir os dados e distribuir dentro do ecossistema, o Apache Spark para realizar análises e filtragem dos dados e o Apache Pinot para fazer o armazenamento e possibilitar futuras consultas.
E para a análise utilizou-se dados da Application Programming Interface (API) do Twitter disponibilizado na Kaggle, visando a variedade de dados e permitindo analisar tendências. Os resultados obtidos demonstram a viabilidade e eficácia da metodologia proposta. O sistema desenvolvido foi capaz de lidar com a ingestão e processamento de dados, demonstrando a escalabilidade e desempenho das ferramentas Apache Kafka, Apache Spark e Apache Pinot. Além disso, as análises realizadas forneceram insights valiosos sobre os dados do Twitter, destacando a capacidade do sistema em extrair informações relevantes.
Abstract
Palavras-chave
Big Data, Apache Kafka, Apache Spark, Apache Pinot
Citação
OLIVEIRA, Ingrid Iplinsky de Oliveira. Análise e processamento de dados usando
Apache Kafka, Spark e Pinot. 2024. 46 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) – Universidade Federal de Uberlândia, Uberlândia, 2024
DOI
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como Acesso Aberto