quinta-feira, 14 de novembro de 2019

Process Big Data using Apache PIG

O Pig é uma plataforma de alto nível para criar programas MapReduce usados com o Hadoop. A linguagem para esta plataforma é chamada Pig Latin. Neste curso, vamos percorrer a plataforma de fluxo de dados PIG e a linguagem usada pela ferramenta PIG. Os conceitos abordados neste curso são:

Escrevendo transformações MapReduce complexas usando uma linguagem de script simples.

Noções básicas de Big Data, Hadoop e MapReduce Framework.

Modelo de dados PIG e tipo diferente de operadores para operar em conjuntos de dados.

Funções internas, bem como funções definidas pelo usuário para executar uma tarefa específica.

Executando Script PIG, Teste de Unidade e Compressão.

Muitos tópicos mais avançados, como Incorporar PIG em Java, Macros PIG, etc.

O que você aprenderá
Visão geral do Big Data e do Hadoop Framework
Anatomia de uma estrutura MapReduce
Noções básicas de ferramenta Apache Pig e onde devemos usá-lo ou não
Corra Pig em diferentes Modos
Use Pig Latin Queries
Diferentes tipos de operadores PIG para analisar os dados
Entenda a arquitetura da ferramenta PIG
Trabalhar com modelo de dados PIG
Diferentes tipos de funções internas
Conceitos avançados de PIG, como PIG Streaming, scripts PIG e UDFs (User Defined Functions)
Comprimir os arquivos de entrada, os arquivos de saída final e os arquivos de saída intermediários
Teste de Unidade de Porco, Macros de PIG e Substituição de Parâmetro
Como incorporar PIG em Java

Há algum requisito ou pré-requisito para o curso?
Compreensão Básica do Hadoop
Conhecimento básico de linguagem declarativa como SQL
Conhecimento básico de linguagem de programação Java
Conhecimento básico de Big Data é obrigatório, mas não obrigatório
Para quem é este curso:
Alunos com interesse em Big Data e Hadoop Field
Desenvolvedores de banco de dados e administrador
Desenvolvedores de software querem construir sua carreira no campo Big Data
Analistas de dados
Cientistas de Dados e Pesquisador