O documento descreve as principais etapas de um projeto de Business Intelligence utilizando a ferramenta Microsoft Integration Services para criar um data warehouse. Ele aborda conceitos como ETL, modelagem dimensional, carga de dimensões e fatos, e implementação de Slowly Changing Dimension.

1. Técnicas de ETL com o MICROSOFT INTEGRATION
SERVICES 2012

2. Capítulo 1

3. Business Intelligence
 Business Intelligence é um sistema de
suporte a tomada de decisão.
É necessário determinar, que decisão
queremos tomar com o sistema a ser
desenvolvido.

5. Case do Wallmart
Passagem do furacão Frances - 2004

6.  Neste caso, Business Intelligence foi
usado como fonte de informação
PREDITIVA

7. Data Warehouse
 Banco de dados que servirá de
repositório de todas as informações
importantes a organização, instituídos
em um modelo dimensional.

8. Tabelas Fato
 As tabelas Fato são o ponto focal de um
modelo dimensional, onde os dados de
medição numérica são armazenados.
Se podemos contar, sumarizar ou realizar
algum tipo de agregação com dados de um
evento, então este evento é um bom
candidato a se tornar um fato.

9. Tabelas Dimensão
 As tabelas dimensão sempre se
relacionam com tabelas fato e de modo
geral contém descrições sobre
informações de dados de uma
organização.
Como exemplo de tabelas dimensão de
uma empresa do varejo, podemos
mencionar Tempo, Produto ou até mesmo
Clientes.

10. Star Schema
 “O Star Schema, ou “esquema estrela” é
o exemplo mais simples de modelagem
dimensional de Data Warehouse. Este
modelo consiste de poucas, ou quando
possível, apenas uma tabela “Fato”
ligada a diversas tabelas dimensão.”

12. SnowFlake
 O Snowflake se assemelha muito ao
modelo Star Schema, porém a diferença
crucial em relação ao outro modelo é que
as dimensões no modelo SnowFlake são
(ou podem ser) normalizadas, ou seja,
podem ser quebradas em tabelas menores
geralmente até a segunda forma normal. A
modelagem SnowFlake geralmente
normaliza as dimensões até a segunda
forma normal pois apesar dos benefícios
da normalização, sua utilização pode
comprometer o desempenho.

14. ETL
 “ETL é uma sigla para Extract,
Transform and Load, ou seja, extração,
transformação e carga. ETL, em uma
definição mais completa é uma técnica
ou processo de banco de dados, onde
os dados propriamente ditos são
movidos das mais diversas origens e
armazenadas em outros locais. “

15. Processo composto de três
etapas
 Extração
 Transformação
 Carga

16. Capítulo 2

17. Ambiente SSIS
 Sql Server Integration Services, é uma
IDE para desenvolvimento de pacotes
de ETL, integrado ao Visual Studio.

18. Solution Explorer

19. Properties Panel

20. Toolbox

21. Connection Managers

22. Capítulo 3

23.  Criação dos Bancos de Dados
ProjetoETL
ProjetoETL_Stage
ProjetoETL_DW

24. Capítulo 4

25. Criando o projeto no SSIS

27. Arquivos do SISS
 ETLIntegrationServices.sln
 ETLIntegrationServices.suo
 ETLIntegrationServices(Pasta)
ETLIntegrationServices.database
ETLIntegrationServices.dtProj
ETLIntegrationServices.dtproj.user
Package.dtsx
Project.params

28. Renomenado o pacote

29. Hello World no SSIS
 Adicione um Script Task no Control
Flow

30. Adicionar o seguinte código
public void Main()
{
// TODO: Add your code here
MessageBox.Show("Olá mundo");
Dts.TaskResult =
(int)ScriptResults.Success;
}

31. Clicar em EXECUTE PACKAGE

32. Funcionamento do SSIS
 Se divide em
Control Flow
Data Flow

33. Control Flow
 “Control Flow é o segmento do SSIS
que nos permite definir o fluxo de
trabalho do pacote, determinando sua
seqüência e eventuais mudanças de
fluxo em caso de sucesso, fracasso ou
devido a uma pré-condição estabelecida
pelo usuário. “

34. Data Flow
 “O Data Flow, é uma Task do pacote
SSIS onde as extrações,
transformações e eventuais cargas de
dados propriamente ditas ocorrem. Um
pacote pode ter apenas um Control
Flow, porém diversos Data Flows, com
diversas operações de carga e
transformação em cada um deles. “

35. Variáveis no SSIS

36.  Adicione uma variável “StrTexto”ao
pacote já existente

37. Adicione a váriavel a lista de
variáveis usadas pelo Scrip Task

38. Referênciando a variável no
pacote
public void Main()
{
// TODO: Add your code here
MessageBox.Show(Dts.Variables["StrTexto"].
Value.ToString());
Dts.TaskResult = (int)ScriptResults.Success;
}

39. Criando arquivos de configuração

42. Adicionando a variável ao arquivo Config

43. Alterando o valor do Config

44. Agora o pacote utiliza o valor do
Config

45. Utilizando o Import Export
Wizzard
 Clicar com o botão direito em SSIS
Packages (Solution Explorer)

46. Definindo a origem
(Departamentos.txt)

47. O destino será o BD ProjetoETL,
tabela Departamentos

48. Definindo as correspondências

49. Control Flow FINALIZADO

50. Depois da execução...

51. Capítulo 5

52. Criando dados de Vendas
 Execute o script
Package

53. Carregando Clientes para o
Stage

54. Truncado dados tabela
STAGE
 TRUNCATE TABLE
StageSchema.Clientes_Carga

55. Adicionando DataFlow

56. Origem ProjetoETL

57. Destino ProjetoETL_Stage

58. Mapeamentos

59. Pacote Finalizado

60. Capítulo 6

61. Slowly Changing Dimension
 Slowly Changing Dimension, em uma
tradução literal “Dimensões que mudam
lentamente”, são os grupos de dados
que se alteram em ciclos de tempo
maiores e de maneira irregular.

62.  Um ótimo vendedor, com excelentes
resultados em uma área de vendas
mais receptiva mas que é transferido
para uma filial com um público diferente.
Se o relatório de vendas não for
corretamente trabalhado e a mudança de
filial do vendedor não for contextualizada, o
relatório poderá levar a informações
confusas ou incorretas sobre o desempenho
deste vendedor.

63.  Podemos desenvolver SCD, utilizando
campos de data início e data fim,
determinando a vigência de cada
registro.
 Identificamos cada registro na dimensão
SCD, através de Surrogate Keys.
Código Fornecedor Nome Cidade Ativo Data Inicial Data Final
1 1236 Industria 01 Florianópolis 0 01/01/2008 01/10/2010
2 1236 Industria 01 São José 1 02/10/2010 Null

64. Implementando SCD
 Re-abrir o pacote de carga de clientes
na Stage

65. Adicionar Componente SCD

66. Iniciando o Wizzard

67. Definindo a Business Key

68. Definindo os atributos
históricos

69. Definindo os campos de
controle

70. Componente Configurado

71. Capítulo 7

72. Carga Modelo Dimensional
 Processo em Etapas
Carga de Dimensões
Carga de Fatos, com referência as
dimensões

73. Carga Dimensão Tempo
C:Users
rodrigo.ribeiro.WESTDesktopDim

74. Carga Tabela Fato
 Em um novo pacote, adicione um Sql
Task com o script
TRUNCATE TABLE
StageSchema.Vendas_Carga

75. Mapeamento Stage DW

76. Montagem Final da Carga

77. Script de Insert
C:Users
rodrigo.ribeiro.WESTDesktopIns

78. FIM