Description
Objectives
A necessidade de analisar Big Data é atualmente mais premente do que nunca, devido ao crescimento da digitalização, da internet das coisas, das redes sociais e da aprendizagem automática, entre outros fatores. O ecossistema do Big Data encontra-se em constante evolução, à medida que novas tecnologias emergem e amadurecem, sendo o Apache Spark uma das tecnologias open-source mais utilizadas para o processamento de Big Data.
Esta unidade curricular oferece uma abordagem abrangente aos conceitos de Big Data e ao uso do Apache Spark no seu processamento, cobrindo os principais tipos de processamento de dados: dados estruturados e não estruturados, dados em tempo real (streaming), grafos e aprendizagem automática.
Os estudantes que concluírem esta unidade curricular vão compreender os conceitos fundamentais do processamento de Big Data, bem como adquirir competências na utilização do Spark para o processamento e análise de grandes volumes de dados, com vista à resolução de problemas atuais enfrentados por organizações empresariais e instituições de investigação.
Participation Requirements
Os estudantes deverão possuir experiência básica de programação em Python e conhecimentos de SQL.
É também recomendável que os estudantes tenham familiaridade com conceitos de processamento de dados e com o ambiente Linux.