2. Apresentação
Senior BI Analyst at Comp Line
BI and Database Consultant and
Instructor - One Way Solution
Writer – SQL Magazine
OLAP and ETL Consultant and
Instructor – BI do Brasil
Microsoft Certified Professional
3. Agenda
Extract, Transformation and Load – Introdução
Conhecendo o MS Integration Services
Arquitetura do MS Integration Services
Conhecendo alguns componentes do SSIS
Constraints, Variáveis, Parâmetros e Expressões
Foreach Loop Container
Desenvolvendo cargas Padrões com SSIS
Processo de carga Dinâmico – Arquitetura e Criação
Implementando a carga incremental no SSIS
4. Extract, Transformation and Load - Introdução
O ETL visa trabalhar com toda a parte de
extração de dados de fontes externas,
transformação para atender às necessidades de
negócios e carga dos dados dentro do Data
Warehouse.
Em tempo de execução ele é divido em Extração,
Transformação e Carga de dados.
5. Conhecendo o MS Integration Services
O Microsoft Integration Services é responsável
por permitir a construção de cargas de
integração de dados e ETL para Data
Warehouse;
7. Solution
Project 1 Project 2
Project 3
Recipiente Macro;
Dentro de uma Solução é possível
criar vários projetos da solução
Microsoft – SSIS, SSAS, SSRS;
Arquitetura do MS Integration Services
8. Project
Package 1 Package 2
Connection 1
Recipiente onde se cria os pacotes
de ETL a seremdesenvolvidos;
Criação das conexões globais;
Arquitetura do MS Integration Services
9. Recipiente para desenvolvimento dos
Fluxos de controle e de dados.
Package
Control Flow
Arquitetura do MS Integration Services
10. Control Flow
Recipiente onde se cria o fluxo de
Dados;
Possibilidade de fazer algumas
configurações. Exemplo - Email
Container
Execute SQL
Send Mail
Data Flow
Arquitetura do MS Integration Services
11. Data Flow
Task usada para trabalho a nível de
Dados.
Inúmeras possibilidades;
Lookup
Merge Join
Sort
Merge
…
Arquitetura do MS Integration Services
15. A precêdencia COMPLETION
Exige apenas que o executável
de precedência seja concluído,
independente do resultado.
Precedência de Constraints
Destino 1
Origem
16. A precêdencia SUCCESS exite
que o executável de precedência
seja executado com sucesso.
Precedência de Constraints
Destino 2
Origem
17. A precêdencia FAILURE
exige que o executável de
precedência deve falhar.
Geralmente utilizado para
tratamento de erros.
Precedência de Constraints
Origem
Destino 3
18. Passo 3
Passo 1 Passo 2
AND
Passo 2
Multiplas de Constraints
OR
Passo 1 Passo 2
Passo 3
19. Se a opção AND for ativada em
seu Control Flow, você estará
indicando logicamente que
SOMENTE se os dois primeiros
passos tiverem sido concluídos,
o Controle pode prosseguir para
o Passo 3.
Multiplas de Constraints
AND
Passo 2Passo 1 Passo 2
Passo 3
20. Se a opção OR for ativada em
seu Control Flow, você estará
indicando logicamente para que
caso um dos dois primeiros
passos tiverem sido concluídos,
o Controle pode prosseguir para
o Passo 3.
Multiplas de Constraints
Passo 3
Passo 1 Passo 2
OR
21. Dentro da ferramenta do Integration
Services é possível trabalhar com dois
tipos de variáveis:
Variáveis de Usuário – Criadas dentro
do Pacote pelo desenvolvedor.
Variáveis de Sistema – Guardam dados
em tempo de execução do pacote.
Dados
Variável
Variável
22. Parâmetros são recipientes que
recebem o valor corrente de uma
determinada variável e aplica esse valor
em uma determinada situação.
Dentro do SSIS um parâmetro é
mapeado através do character ‘?’
Variável
Parâmetro
Parâmetro
23. Uma expressão é uma combinação de
símbolos (identificadores, literais,
funções e operadores) gera um único
valor de dados.
Expressões
24. Funções Matemáticas
Funções de String
Funções de Data e Hora
Funções para tratamento de NULL
Funções para conversão de tipo de dados
Operadores
Expressões
25. Foreach Loop Container irá se
repetir para cada elemento
retornada de uma matriz.
Loop
Elemento 1
Elemento 2
Elemento 3
Foreach Loop Container
26. 1. Diretório
2. Listagem Manual
3. Linhas retornadas de um Objeto
4. Tabelas de banco de dados
5. Variável
6. XML
7. Objetos do Banco (tabelas, views)
Foreach Loop Container
28. Processo de Carga Dinâmico - Arquitetura e Criação
Acha Parâmetros
Habilita a
Trace Flag 610
Desabilita a
Trace Flag 610
Retorna Colunas
Carrega Tabela
Container
29. Implementando a carga incremental no SSIS
Acha Parâmetros
Habilita a
Trace Flag 610
Container
Habilita a Trace Flag
Desabilita a Trace Flag
Retorna Colunas Retorna Colunas
Retorna Colunas Retorna Colunas
Valida Dipo de Carga