Análise de Grandes Volumes de Dados

Objectives

Big Data é um termo genérico que designa as estratégias e tecnologias não tradicionais necessárias para recolher, organizar, processar e extrair conhecimento a partir de grandes conjuntos de dados. Nesta unidade curricular serão discutidos os desafios colocados pelo Big Data, bem como as abordagens mais avançadas para os ultrapassar, com especial foco nas tecnologias práticas que tornam isso possível.

Nas aulas teóricas será feito um panorama do complexo e heterogéneo ecossistema do Big Data. Será dada particular ênfase à compreensão dos componentes que integram o popular ecossistema Hadoop (Hadoop, Hive, Kafka, Sqoop e Spark), assim como às mais recentes abordagens para o armazenamento e processamento de Big Data, nomeadamente bases de dados NoSQL.

Nas sessões práticas, os estudantes terão a oportunidade de adquirir experiência prática com o Spark, utilizando o ambiente de notebooks de plataformas na nuvem.

Participation Requirements

É fortemente recomendado que os alunos tenham familiaridade com a linguagem de programação Python.
As aulas serão lecionadas em inglês. Como tal, espera-se que os alunos tenham um bom nível de compreensão e comunicação em inglês.