Please use this identifier to cite or link to this item:
https://repositorio.ufu.br/handle/123456789/43211| Document type: | Trabalho de Conclusão de Curso |
| Access type: | Acesso Aberto |
| Title: | Análise e processamento de dados usando Apache Kafka, Spark e Pinot |
| Alternate title (s): | Data analysis and processing using Apache Kafka, Spark and Pinot |
| Author: | Oliveira, Ingrid Iplinsky de |
| First Advisor: | Oliveira, Daniele Carvalho |
| First member of the Committee: | Ribeiro, Thiago Pirola |
| Second member of the Committee: | Molinos, Diego Nunes |
| Summary: | O volume de dados gerados pelos usuários tem crescido de forma exponencial. No entanto, muitas empresas enfrentam desafios na captura e análise dessas informações, o que impacta diretamente na geração de valor para seus negócios. Com isso o presente trabalho de conclusão de curso tem o objetivo de apresentar uma forma de realizar análise de dados no âmbito de Big Data, utilizando os softwares Apache Kafka para consumir os dados e distribuir dentro do ecossistema, o Apache Spark para realizar análises e filtragem dos dados e o Apache Pinot para fazer o armazenamento e possibilitar futuras consultas. E para a análise utilizou-se dados da Application Programming Interface (API) do Twitter disponibilizado na Kaggle, visando a variedade de dados e permitindo analisar tendências. Os resultados obtidos demonstram a viabilidade e eficácia da metodologia proposta. O sistema desenvolvido foi capaz de lidar com a ingestão e processamento de dados, demonstrando a escalabilidade e desempenho das ferramentas Apache Kafka, Apache Spark e Apache Pinot. Além disso, as análises realizadas forneceram insights valiosos sobre os dados do Twitter, destacando a capacidade do sistema em extrair informações relevantes. |
| Keywords: | Big Data Apache Kafka Apache Spark Apache Pinot |
| Area (s) of CNPq: | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO::ARQUITETURA DE SISTEMAS DE COMPUTACAO |
| Language: | por |
| Country: | Brasil |
| Publisher: | Universidade Federal de Uberlândia |
| Quote: | OLIVEIRA, Ingrid Iplinsky de Oliveira. Análise e processamento de dados usando Apache Kafka, Spark e Pinot. 2024. 46 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) – Universidade Federal de Uberlândia, Uberlândia, 2024 |
| URI: | https://repositorio.ufu.br/handle/123456789/43211 |
| Date of defense: | 24-Apr-2024 |
| Appears in Collections: | TCC - Sistemas de Informação (Monte Carmelo) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| AnáliseProcessamentoDe.pdf | 3.19 MB | Adobe PDF |  View/Open |
This item is licensed under a Creative Commons License
