O documento discute três abordagens para o desenvolvimento orientado a dados (data-driven development): retrospectiva, em tempo real e preditivo. Também apresenta exemplos práticos de como o machine learning pode ser usado para identificar padrões em dados e habilitar aplicações inteligentes.

1. ©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved
Aplicações com
Amazon Machine Learning
Alex Coqueiro
Arquiteto de Soluções para o Setor Público

2. Dados como parte essencial das aplicações
Front-end e UX Mobile Back-end
e operações
Dados
transacionais e
análiticos

3. Três abordagens para o desenvolvimento orientado
a dados (data-driven development)
Retrospectiva
Análise e
Relatório

4. Três abordagens para o desenvolvimento orientado
a dados (data-driven development)
Retrospectiva
Análise e
Relatório
Tempo Real
Processamento em
tempo real e
dashboards

5. Três abordagens para o desenvolvimento orientado
a dados (data-driven development)
Retrospectiva
Análise e
Relatório
Tempo Real
Processamento em
tempo real e
dashboards
Preditivo
Habilitar
aplicações
inteligentes

6. Machine Learning
Machine Learning é um método de
análise de dados que ajuda na busca
de modelos de descoberta de padrões
existentes de dados

7. Ok… entendi ... e na prática?

8. Identificação de Padrões: Exemplo 1
Nome Transação Fraude
Joao R$ 2.342,50 Não
Maria R$ 2.113,00 Sim
Mario R$ 2.222,22 Sim
Cristina R$ 3.423,20 Não
Marcelo R$ 940,34 Sim

9. Identificação de Padrões: Exemplo 1
Nome Transação Fraude
Joao R$ 2.342,50 Não
Maria R$ 2.113,00 Sim
Mario R$ 2.222,22 Sim
Cristina R$ 3.423,20 Não
Marcelo R$ 940,34 Sim

10. Identificação de Padrões: Exemplo 2
Nome Transação Nascimento Local Trans Idade Fraude
Joao R$ 2.342,50 SP SP 21 Não
Maria R$ 5.113,00 SP RJ 22 Sim
Mario R$ 4.222,22 SP RJ 25 Sim
Cristina R$ 5.423,20 AM SC 40 Não
Marcelo R$ 4.940,34 SP RJ 18 Sim
Ronaldo R$ 3.423,20 SP PR 18 Não
Pedro R$ 423,20 PR SP 18 Não
Simone R$ 1.001,20 DF SP 35 Não
Eduardo R$ 1.012,20 SP RJ 40 Não
Sergio R$ 3.300,10 SP BA 43 Não
Alex R$ 4.004,20 SP RJ 22 Sim
Fabio R$ 4.001,99 RJ SP 37 Não

11. Identificação de Padrões: Exemplo 2
Nome Transação Nascimento Local Trans Idade Fraude
Joao R$ 2.342,50 SP SP 21 Não
Maria R$ 5.113,00 SP RJ 22 Sim
Mario R$ 4.222,22 SP RJ 25 Sim
Cristina R$ 5.423,20 AM SC 40 Não
Marcelo R$ 4.940,34 SP RJ 18 Sim
Ronaldo R$ 3.423,20 SP PR 18 Não
Pedro R$ 423,20 PR SP 18 Não
Simone R$ 1.001,20 DF SP 35 Não
Eduardo R$ 1.012,20 SP RJ 40 Não
Sergio R$ 3.300,10 SP BA 43 Não
Alex R$ 4.004,20 SP RJ 22 Sim
Fabio R$ 4.001,99 RJ SP 37 Não

12. Exemplos de Aplicações Práticas
Baseado no que você
sabe do seu cliente:
Ele irá adquirir seu
novo produto?

13. Exemplos de Aplicações Práticas
Baseado no que você
sabe a respeito do
pedido:
Seria uma transação
fraudulenta?
Baseado no que você
sabe do seu cliente:
Ele irá adquirir seu
novo produto?

14. Exemplos de Aplicações Práticas
Baseado no que você
sabe a respeito do
pedido:
Seria uma transação
fraudulenta?
Baseado no que você sabe
a respeito da manutenção
da sua fábrica:
Quais os robôs que irão
precisar de manutenção?
Baseado no que você
sabe do seu cliente:
Ele irá adquirir seu
novo produto?

15. Humm…mas isso pode ficar
complexo …

16. Tipos de Machine Learning
Machine
Learning
Supervisionado
Não
Supervisionado
Modelos preditivos
Classificação/Regressão
Modelos descritivos
Cluster

17. Amazon Machine Learning (AML)
Facilidade de uso, serviço gerenciado de
machine learning construído para
desenvolvedores
Robustes em tecnologia de machine learning
Criação de modelos usando dados
armazenados na cloud da AWS
Deploy de modelos em produção em
segundos

18. Amazon Machine Learning
Algoritmos de Aprendizado Supervisionados
1. Classificação Binaria - usado para respostas 0/1
- O cliente irá comprar o produto?
- O cliente irá migrar para um plano mais sofisticado?
2. Classificação Multiclass
- Classificação de documentação baseado em contexto
- Organização produtos em categorias
3. Regressão
- Remarcação de preço de produtos
- Previsão de demanda futura de Produtos

19. Amazon Elastic MapReduce (EMR)
Algoritmos de Aprendizado Não Supervisionados

20. Quero ver funcionando ?

21. Construção do
modelo
Avaliação e
Otimização
Recuperar
Previsões
1 2 3

22. Treinar
Modelo
Avaliação e
Otimização
Recuperar
Previsões
1 2 3

23. Criar o Datasource
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> ds = ml.create_data_source_from_s3(
data_source_id = ’my_datasource',
data_spec= {
'DataLocationS3':'s3://bucket/input/',
'DataSchemaLocationS3':'s3://bucket/input/.schema'},
compute_statistics = True)

24. Explorar e entender os dados

25. Treinar seu modelo
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> model = ml.create_ml_model(
ml_model_id=’my_model',
ml_model_type='REGRESSION',
training_data_source_id='my_datasource')

26. Treinar
Modelo
Avaliação e
Otimização
Recuperar
Previsões
1 2 3
Construir aplicações com Amazon ML
- Entender a qualidade do modelo
- Ajustes na interpretação

27. Explorar qualidade do modelo

28. Refinamento na interpretação do modelo

29. Refinamento na interpretação do modelo

30. Treinar
Modelo
Avaliação e
Otimização
Recuperar
Previsões
1 2 3
Construir aplicações com Amazon ML
- Previsões em batch
- Previsões em tempo real

31. Batch Predictions
Assincrono, geração de dados a partir de grande
volume de dados
Requisição por meio de console ou API
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> model = ml.create_batch_prediction(
batch_prediction_id = 'my_batch_prediction’
batch_prediction_data_source_id = ’my_datasource’
ml_model_id = ’my_model',
output_uri = 's3://examplebucket/output/’)

32. Real-time predictions
Sincrono, baixa latência, alto throughput na geração de previsões
Requesição por API ou server ou SDK mobile
Lida com aplicações que necessitam avaliar registros individualmente
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> ml.predict(
ml_model_id=’my_model',
predict_endpoint=’example_endpoint’,
record={’key1':’value1’, ’key2':’value2’})
{
'Prediction': {
'predictedValue': 13.284348,
'details': {
'Algorithm': 'SGD',
'PredictiveModelType': 'REGRESSION’
}
}
}

33. Considerações Finais

34. Explore arquiteturas a partir da
combinação de serviços
existentes

35. Cenário Integrado com BI
Structured Data/Predictions
Amazon Redshift
Generate/Query
Predictions
Amazon QuickSight
Application
Amazon Machine
Learning
Visualize

36. Query for predictions with
Amazon ML batch API
Process data
with EMR
Raw data in S3
Aggregated data
in S3
Predictions
in S3 Your application
Cenário Integrado com Bigdata

37. … e o preço …

38. Pague somente pelo que usa
Análise de dados, treinamento do
modelo, e avaliação: $0.42/instance
hour
Batch predictions: $0.10/1000
Real-time predictions: $0.10/1000

39. Muito Obrigado
Por favor, complete a seção de feedbacks
Alex Coqueiro
Arquiteto de Soluções para o Setor Público

40. Você esta fazendo a pergunta
certa ?

41. Você tem o dado correto?

42. Você sabe mensurar o sucesso da
análise ?

43. Agenda
• Machine learning and the data ecosystem
• Smart applications by example (and counter-
example)
• Amazon Machine Learning features and benefits
• Developing with Amazon ML
• Q&A

44. Batch predictions with Amazon Redshift
Structured data
In Amazon Redshift
Load predictions into
Amazon Redshift
-or-
Read prediction results
directly from S3
Predictions
in S3
Query for predictions with
Amazon ML batch API
Your application

45. Adding predictions to an existing data flow
Your application
Amazon
DynamoDB
+
Trigger event with Lambda
+
Query for predictions with
Amazon ML real-time API

46. Data Engineer familiar with Hadoop and Spark
Data Engineer
Existing Structured Data
Amazon Redshift
New Structured Data
Amazon Redshift
Amazon EMR
spark-redshift
Enrichment /
Transformation
ETL
Data Source
Amazon Redshift
Integration

47. Construindo uma aplicação
Caro Alex,
Compre este quadcoptero R$49.99!

48. Construindo uma aplicação
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
GROUP BY c.ID
HAVING o.date > GETDATE() – 30
Vamos iniciar
vendendo para
quem fez alguma
compra nos últimos
30 dias

49. Construindo uma aplicação
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
GROUP BY c.ID
HAVING
AND o.date > GETDATE() – 30
… Vamos ser mais
específicos. Vamos
oferecer para quem
comprou
brinquedos

50. Construindo uma aplicação
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
GROUP BY c.ID
HAVING o.category = ‘toys’
AND
(COUNT(*) > 2
AND SUM(o.price) > 200
AND o.date > GETDATE() – 30)
)
… vamos expandir e
colocar quem
comprou helicoptero
de brinquedo

51. Construindo uma aplicação
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘toys’
AND ((p.description LIKE ‘% %’
AND o.date > GETDATE() - 60)
OR (COUNT(*) > 2
AND SUM(o.price) > 200
AND o.date > GETDATE() – 30)
)
… mas e os
quadcopteros?

52. Construindo uma aplicação
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘toys’
AND ((p.description LIKE ‘%copter%’
AND o.date > GETDATE() - )
OR (COUNT(*) > 2
AND SUM(o.price) > 200
AND o.date > GETDATE() – 30)
)
… talvez eu precise
pegar um universo
temporal maior

53. Construindo uma aplicação
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘toys’
AND ((p.description LIKE ‘%copter%’
AND o.date > GETDATE() - 120)
OR (COUNT(*) > 2
AND SUM(o.price) > 200
AND o.date > GETDATE() – )
)
… vamos ajustar os
tempos

54. Construindo uma aplicação
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘toys’
AND ((p.description LIKE ‘%copter%’
AND o.date > GETDATE() - 120)
OR (COUNT(*) > 2
AND SUM(o.price) >
AND o.date > GETDATE() – 40)
)
… novamente

55. Construindo uma aplicação
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘toys’
AND ((p.description LIKE ‘%copter%’
AND o.date > GETDATE() - )
OR (COUNT(*) > 2
AND SUM(o.price) > 150
AND o.date > GETDATE() – 40)
)
… não está
fucionando

56. Construindo uma aplicação
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘toys’
AND ((p.description LIKE ‘%copter%’
AND o.date > GETDATE() - )
OR (COUNT(*) > 2
AND SUM(o.price) > 150
AND o.date > GETDATE() – 40)
)
E se nos
delegassemos isso
ao machine learning
para aprender com as
minhas experiências!