SlideShare una empresa de Scribd logo
1 de 37
Descargar para leer sin conexión
© 2015, Amazon Web Services, Inc. ou suas afiliadas. Todos os direitos
reservados.
Dados Abertos na Amazon Web Services
Webinar
Alex Coqueiro
Arquiteto de Soluções na Amazon Web Services
@alexbcbr
@AWSBrasil
24 de Novembro de 2015
Agenda
•  Uso de Dados Abertos pelo mundo
•  Implementação de plataforma
•  Banco de Dados Públicos
•  Portais de Dados Abertos
•  Recomendações
Definição de Dados Abertos ‘Open Data’?
“Dados abertos são dados que podem ser
usados por qualquer pessoa para qualquer
finalidade sem custo.”
See more at: http://opendefinition.org
Localização digital em iRideNYC.info
O Departamento de Transporte de
Nova York usa uma estratégia de
desenvolvimento ”mobile first" e
"codifique uma vez, execute em
qualquer lugar" que permite
desenvolver aplicativos móveis de
baixo custo voltados para dados.
Sem a instalação do aplicativo em
nenhum dispositivo, você pode
encontrar metrôs e pontos de
ônibus MTA, estações do CitiBike e
locais de interesse em
http://iRideNYC.info
Localização digital em iRideNYC.info
O iRideNYC.info aproveita a
linguagem de design
direcionada a dados da
WalkNYC, que cria mapas
baseados em camadas de
dados.
Localização digital em iRideNYC.info
A MTA fornece APIs de dados
abertos que permitem ao
iRideNYC.info exibir em tempo
real o horário de chegada de
metrôs e ônibus. A API do CitiBike
também é usada para obter o
status da estação e a
disponibilidade de bicicletas.
Salvando vidas com dados do censo
"Só em 2013, os EUA passaram por
1,24 milhão de incêndios,
resultando em quase 20 mil mortos
ou feridos e gerando mais de US$
11 bilhões em danos materiais.
Tragicamente, muitas dessas
mortes são evitáveis: três em cada
cinco mortes em casa devido a
incêndio ocorreram em edifícios
sem alarmes de fumaça em
funcionamento."
http://blog.enigma.io/open-data-and-public-safety/
Salvando vidas com dados do censo
Como determinar se é necessário um novo
alarme de incêndio?
"...um analista no Escritório de Desempenho e
Responsabilidade (OPA) de Nova Orleans
construiu um modelo de regressão logística
utilizando o American Housing Survey (AHS) de
2011...
Com essa iniciativa, o Corpo de Bombeiros de
Nova Orleans e o OPA mudaram: em vez de
entregar passivamente alarmes de fumaça para
salvar vidas, passaram a alcançar ativamente
os moradores mais vulneráveis de Nova
Orleans, tudo graças a uma união da
experiência dos bombeiros com insights
extraídos de dados abertos."
http://blog.enigma.io/open-data-and-public-safety/
Salvando vidas com dados do censo
A Enigma utilizou os resultados de Nova
Orleans e criou um produto de análise para
prever deficiências de alarme de incêndio em
várias cidades dos Estados Unidos.
Eles usam a AWS para compartilhar a
infraestrutura e os dados subjacentes usados
para criar a ferramenta.
https://github.com/enigma-io
BuildSmartDC
Eficiência, custo e rastreamento de emissões
em 400 edifícios, totalizando 30MM pés2.
Produz mais de 50.000 pontos de dados por
dia.
O Amazon EC2 é usado para:
•  Acessar APIs externas
•  Servir às APIs internas que alimentam o
BSDC
O S3 hospeda:
•  Ativos da web estáticos
•  Mais de 1600 arquivos CSV atualizados
diariamente e publicamente acessíveis
com informações de uso dos edifícios
BuildSmartDC
Implementando a sua plataforma
de Dados Abertos na AWS
Bucket do
Amazon S3
Amazon
EMR
Amazon
EC2
AWS
Lambda
Amazon
Redshift
Amazon
DynamoDB
O poder dos dados abertos na nuvem
Tornar os dados na AWS abertos permite mais inovação, disponibilizando
os dados para acesso rápido por nossos recursos de computação
flexíveis e de baixo custo.
Dados abertos como uma plataforma
Enriquecimento de dados
Fazsentido
Dados em repouso
(armazenamento de objetos)
APIs básicas
APIs complexas
Aplicativos para
consumidores
Política
algoritmica
Jornalismo
baseado em dados
Catálogos de dados
Painéis voltados
para datos
Modelos
preditivos
Visualizações
Custo de conhecimento menor
(eficiência)
Criação de
dados
Dados abertos como uma plataforma
Enriquecimento de dados
Fazsentido
Amazon
Kinesis
Amazon
EC2
Amazon
EC2
AWS Data
Pipeline
Amazon
S3
Amazon
RDS
Amazon
EMR
Amazon
Redshift
Amazon
DynamoDB
AWS
Lambda
Dados na AWS
A Amazon Web Services fornece um toolkit abrangente para reunir,
armazenar, analisar e trabalhar com dados em qualquer escala.
Amazon Elastic MapReduce
(Amazon EMR) fornece a
estrutura de análises Apache
Hadoop como um serviço
gerenciado fácil de usar.
Amazon S3 permite que você
armazene e recupere qualquer
quantidade de dados, a
qualquer momento, de
qualquer local da Web.
Amazon DynamoDB é um
serviço de banco de dados
NoSQL totalmente gerenciado
que torna econômico o
armazenamento e a
recuperação de qualquer
quantidade de dados.
Bancos de dados públicos da AWS
Bancos de dados públicos na AWS
Para promover mais inovação, a AWS hospeda alguns bancos de dados
que qualquer pessoa pode acessar gratuitamente. Os dados em nossos
bancos de dados públicos estão disponíveis para acesso rápido por
nossos recursos de computação flexíveis e de baixo custo.
Ciência da Terra
Landsat na AWS
Ciências biológicas
Projeto 1000 Genomes
Ciência da Internet
Corpus para rastreamento comum
O que é o Landsat?
O programa Landsat é um esforço
conjunto do Serviço Geológico dos
EUA e da NASA. É o programa mais
antigo para coletar imagens da Terra
do espaço e é considerado o padrão
ouro para imagens de satélite de
recursos naturais.
Landsat na AWS
Temos o compromisso de tornar até
1 petabyte de imagens do Landsat
prontamente disponíveis como
objetos no Amazon S3.
Todos as cenas do Landsat 8 desde
2015 estão disponíveis, juntamente
com uma seleção de cenas sem
nuvens desde 2013 e 2014. Todas
as novas cenas do Landsat 8 são
disponibilizadas diariamente, muitas
vezes algumas horas depois da
produção.
Landsat na AWS
Nos primeiros 150 dias:
•  3,8 PB de dados acessados
•  560 milhões de visitas de 167 países
•  3,7 milhões de acessos diários em média
•  25 TB de dados transferidos diariamente
em média
•  2 novos aplicativos: Snapsat e navegador
Astro Digital
•  Alimentando o desenvolvimento de novos
produtos de Mapbox, Trimble, Esri,
CartoDB, MathWorks e Development Seed
O Landsat é um grande dado aberto
O programa Landsat é um esforço
conjunto do Serviço Geológico dos
EUA e da NASA. É o programa mais
antigo para coletar imagens da Terra
do espaço e é considerado o padrão
ouro para imagens de satélite de
recursos naturais.
Tem sido tradicionalmente demorado
e caro para adquirir, armazenar e
analisar os dados do Landsat.
O que é o Landsat?
As cenas do Landsat são
compostas de vários arquivos, cada
um dos quais inclui dados sobre os
diferentes tipos de luz refletida da
Terra.
O programa Landsat está em
operação desde 1972.
Wellington, Nova Zelândia – 29 de junho de 2015
RGB
Luz visível
Infravermelho
Vegetação
Infravermelho de ondas curtas
Áreas urbanas
Snapsat
Uma equipe de cinco programadores
iniciantes usou o Landsat na AWS
para desenvolver um aplicativo web
chamado Snapsat que cria
visualizações de dados do Landsat em
segundos.
O Snapsat foi desenvolvido durante o
programa de treinamento de 8
semanas da equipe no Code Fellows.
Eles lançaram apenas alguns meses
depois de aprender a escrever código.
http://snapsat.org
Esri – Unlock Earth’s Secrets
A Esri criou uma ferramenta para mostrar
como o ArcGIS Online pode visualizar
rapidamente dados do Landsat para
visualização e análise em tempo real dentro
do navegador.
"Não são serviços de cache gerados
previamente limitados apenas à
visualização, eles são serviços de imagem
dinâmicos e de alto desempenho que
executam processamento imediato e
mosaicos dinâmicos de imagens
multiespectrais e multitemporais do
Landsat."
http://www.esri.com/landsatonaws
MATLAB – Landsat8 Data Explorer
A MathWorks criou uma ferramenta
com base no MATLAB com download
gratuito para acesso, processamento e
visualização de dados do Landsat 8.
A ferramenta permite que os usuários
do MATLAB encontrem, analisem e
combinem cenas do Landsat 8 com
outras fontes de dados do GIS para
novas visualizações.
http://blogs.mathworks.com/steve/2015/03/19/matlab-landsat-8-aws/
Astro Digital Browser
O Astro Digital usa o Landsat na AWS
para criar um navegador e API que
permitem aos desenvolvedores procurar
o catálogo de imagens do Landsat 8,
filtrar por data e cobertura de nuvem e,
em seguida, selecionar qualquer
imagem.
A imagem é processada imediatamente,
reunindo bandas e corrigindo cores, e
carregada na nossa API. Em poucos
minutos, você terá um e-mail com um
link para o ponto de acesso da API que
pode ser carregado em qualquer
aplicativo web ou móvel.
http://fetch.astrodigital.com
Landsat na AWS como uma plataforma
Portais de Dados Abertos
Portais de dados abertos
Muitos parceiros da AWS
oferecem serviços que
facilitam a publicação e o uso
de dados abertos, incluindo
plataformas de catálogos
como CKAN, DKAN, Junar,
OpenDataSoft e Socrata.
Recomendações
Uma abordagem da Amazon para dados abertos
•  Trabalhar de forma a identificar o que faz sentido
compartilhar com relação ao cliente
•  Eliminar o trabalho que não agrega valor
Trabalhar no que faz sentido
•  Procurar dados valiosos, ouvindo as necessidades dos
clientes
•  Considerar os casos de uso do mundo real para os
dados
•  Considerar o tamanho da comunidade de usuários ou
oportunidade de mercado
Eliminar o que não agrega valor
“…os dados devem ser organizados, bem documentados,
formatados de forma consistente e livres de erros. Limpar
os dados é muitas vezes a parte mais desgastante da
ciência de dados, e representa frequentemente 80% do
trabalho.”
— Data Driven por DJ Patil e Hilary Mason
Trazendo inovações com dados abertos
Para trazer a inovação com seus dados, você precisa
garantir três coisas fundamentais ao compartilhá-los:
1.  Os dados são precisos
2.  Eles são fornecidos com documentação
3.  Eles permanecerão disponíveis aos desenvolvedores
amanhã
Nota: esses não são necessariamente problemas técnicos.
Muito Obrigado!
Alex Coqueiro
Arquiteto de Soluções
@alexbcbr
@AWSBrasil

Más contenido relacionado

Similar a Webinar de Dados Abertos na AWS

Hadoop - Mãos à massa! Qcon2014
Hadoop - Mãos à massa! Qcon2014Hadoop - Mãos à massa! Qcon2014
Hadoop - Mãos à massa! Qcon2014Thiago Santiago
 
Seus logs nas costas largas da AWS
Seus logs nas costas largas da AWSSeus logs nas costas largas da AWS
Seus logs nas costas largas da AWSMarcelo Palladino
 
Big data para programadores convencionais
Big data para programadores convencionaisBig data para programadores convencionais
Big data para programadores convencionaisRoberto Oliveira
 
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...Amazon Web Services LATAM
 
Utilizando NoSQL para Big Data com DynamoDB
Utilizando NoSQL para Big Data com DynamoDB Utilizando NoSQL para Big Data com DynamoDB
Utilizando NoSQL para Big Data com DynamoDB Amazon Web Services LATAM
 
Apresentação no Meetup da Elastic em Florianopolis
Apresentação no Meetup da Elastic em FlorianopolisApresentação no Meetup da Elastic em Florianopolis
Apresentação no Meetup da Elastic em Florianopolisluis antonio Nunes
 
Desenvolvimento em Nuvem
Desenvolvimento em NuvemDesenvolvimento em Nuvem
Desenvolvimento em NuvemVitor Savicki
 
AWS Meetup - Processando dados em alta escala com Node.js e AWS Lambda
AWS Meetup - Processando dados em alta escala com Node.js e AWS LambdaAWS Meetup - Processando dados em alta escala com Node.js e AWS Lambda
AWS Meetup - Processando dados em alta escala com Node.js e AWS LambdaDaniel Baptista Dias
 
Web Semântica e Ontologias
Web Semântica e OntologiasWeb Semântica e Ontologias
Web Semântica e OntologiasDaniela Brauner
 
Escalando primeiros 10 milhões de usuários
Escalando primeiros 10 milhões de usuáriosEscalando primeiros 10 milhões de usuários
Escalando primeiros 10 milhões de usuáriosAmazon Web Services LATAM
 

Similar a Webinar de Dados Abertos na AWS (20)

Hadoop - Mãos à massa! Qcon2014
Hadoop - Mãos à massa! Qcon2014Hadoop - Mãos à massa! Qcon2014
Hadoop - Mãos à massa! Qcon2014
 
Seus logs nas costas largas da AWS
Seus logs nas costas largas da AWSSeus logs nas costas largas da AWS
Seus logs nas costas largas da AWS
 
TEES - Apresentacao Final
TEES - Apresentacao FinalTEES - Apresentacao Final
TEES - Apresentacao Final
 
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
 
Big Data na Nuvem
Big Data na NuvemBig Data na Nuvem
Big Data na Nuvem
 
Big data para programadores convencionais
Big data para programadores convencionaisBig data para programadores convencionais
Big data para programadores convencionais
 
Wperformance 2015 (2)
Wperformance   2015 (2)Wperformance   2015 (2)
Wperformance 2015 (2)
 
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
 
Utilizando NoSQL para Big Data com DynamoDB
Utilizando NoSQL para Big Data com DynamoDB Utilizando NoSQL para Big Data com DynamoDB
Utilizando NoSQL para Big Data com DynamoDB
 
Open stack
Open stackOpen stack
Open stack
 
Apresentação no Meetup da Elastic em Florianopolis
Apresentação no Meetup da Elastic em FlorianopolisApresentação no Meetup da Elastic em Florianopolis
Apresentação no Meetup da Elastic em Florianopolis
 
Desenvolvimento em Nuvem
Desenvolvimento em NuvemDesenvolvimento em Nuvem
Desenvolvimento em Nuvem
 
OpenIoT
OpenIoT OpenIoT
OpenIoT
 
AWS Meetup - Processando dados em alta escala com Node.js e AWS Lambda
AWS Meetup - Processando dados em alta escala com Node.js e AWS LambdaAWS Meetup - Processando dados em alta escala com Node.js e AWS Lambda
AWS Meetup - Processando dados em alta escala com Node.js e AWS Lambda
 
Web Semântica e Ontologias
Web Semântica e OntologiasWeb Semântica e Ontologias
Web Semântica e Ontologias
 
Escalando primeiros 10 milhões de usuários
Escalando primeiros 10 milhões de usuáriosEscalando primeiros 10 milhões de usuários
Escalando primeiros 10 milhões de usuários
 
Banco de dados
Banco de dados   Banco de dados
Banco de dados
 
SQL SAT Salvador - Arquitetando Data Lake Multicloud
SQL SAT Salvador - Arquitetando Data Lake MulticloudSQL SAT Salvador - Arquitetando Data Lake Multicloud
SQL SAT Salvador - Arquitetando Data Lake Multicloud
 
Desafios e oportunidades da interoperabilidade nos repositórios de acesso aberto
Desafios e oportunidades da interoperabilidade nos repositórios de acesso abertoDesafios e oportunidades da interoperabilidade nos repositórios de acesso aberto
Desafios e oportunidades da interoperabilidade nos repositórios de acesso aberto
 
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
 

Más de Alex Barbosa Coqueiro

Generative Artificial Intelligence for Macro-Fiscal Risks.pdf
Generative Artificial Intelligencefor Macro-Fiscal Risks.pdfGenerative Artificial Intelligencefor Macro-Fiscal Risks.pdf
Generative Artificial Intelligence for Macro-Fiscal Risks.pdfAlex Barbosa Coqueiro
 
Unlocking the Power of Quantum Computing dist.pdf
Unlocking the Power of Quantum Computing dist.pdfUnlocking the Power of Quantum Computing dist.pdf
Unlocking the Power of Quantum Computing dist.pdfAlex Barbosa Coqueiro
 
Building Robotics Application at Scale using OpenSource from Zero to Hero
Building Robotics Application at Scale using OpenSource from Zero to HeroBuilding Robotics Application at Scale using OpenSource from Zero to Hero
Building Robotics Application at Scale using OpenSource from Zero to HeroAlex Barbosa Coqueiro
 
Building Your Robot using AWS Robomaker
Building Your Robot using AWS RobomakerBuilding Your Robot using AWS Robomaker
Building Your Robot using AWS RobomakerAlex Barbosa Coqueiro
 
Desafios da transição de estado em um mundo serverless
Desafios da transição de estado em um mundo serverlessDesafios da transição de estado em um mundo serverless
Desafios da transição de estado em um mundo serverlessAlex Barbosa Coqueiro
 
Reinforcement Learning with Sagemaker, DeepRacer and Robomaker
Reinforcement Learning with Sagemaker, DeepRacer and RobomakerReinforcement Learning with Sagemaker, DeepRacer and Robomaker
Reinforcement Learning with Sagemaker, DeepRacer and RobomakerAlex Barbosa Coqueiro
 
Deploying Bigdata from Zero to Million of records in Amazon Web Services
Deploying Bigdata from Zero to Million of records in Amazon Web ServicesDeploying Bigdata from Zero to Million of records in Amazon Web Services
Deploying Bigdata from Zero to Million of records in Amazon Web ServicesAlex Barbosa Coqueiro
 
Migração do seu website para a AWS
Migração do seu website para a AWSMigração do seu website para a AWS
Migração do seu website para a AWSAlex Barbosa Coqueiro
 
Seminario de Cloud Computing na UFRRJ
Seminario de Cloud Computing na UFRRJSeminario de Cloud Computing na UFRRJ
Seminario de Cloud Computing na UFRRJAlex Barbosa Coqueiro
 
IBM Mobile Platform: Desenvolvimento de Aplicações Mobile
IBM Mobile Platform: Desenvolvimento de Aplicações MobileIBM Mobile Platform: Desenvolvimento de Aplicações Mobile
IBM Mobile Platform: Desenvolvimento de Aplicações MobileAlex Barbosa Coqueiro
 
Webcast WebSphere Portal Performance
Webcast WebSphere Portal PerformanceWebcast WebSphere Portal Performance
Webcast WebSphere Portal PerformanceAlex Barbosa Coqueiro
 

Más de Alex Barbosa Coqueiro (13)

Generative Artificial Intelligence for Macro-Fiscal Risks.pdf
Generative Artificial Intelligencefor Macro-Fiscal Risks.pdfGenerative Artificial Intelligencefor Macro-Fiscal Risks.pdf
Generative Artificial Intelligence for Macro-Fiscal Risks.pdf
 
Unlocking the Power of Quantum Computing dist.pdf
Unlocking the Power of Quantum Computing dist.pdfUnlocking the Power of Quantum Computing dist.pdf
Unlocking the Power of Quantum Computing dist.pdf
 
Building Robotics Application at Scale using OpenSource from Zero to Hero
Building Robotics Application at Scale using OpenSource from Zero to HeroBuilding Robotics Application at Scale using OpenSource from Zero to Hero
Building Robotics Application at Scale using OpenSource from Zero to Hero
 
Building Your Robot using AWS Robomaker
Building Your Robot using AWS RobomakerBuilding Your Robot using AWS Robomaker
Building Your Robot using AWS Robomaker
 
Desafios da transição de estado em um mundo serverless
Desafios da transição de estado em um mundo serverlessDesafios da transição de estado em um mundo serverless
Desafios da transição de estado em um mundo serverless
 
Reinforcement Learning with Sagemaker, DeepRacer and Robomaker
Reinforcement Learning with Sagemaker, DeepRacer and RobomakerReinforcement Learning with Sagemaker, DeepRacer and Robomaker
Reinforcement Learning with Sagemaker, DeepRacer and Robomaker
 
Deploying Bigdata from Zero to Million of records in Amazon Web Services
Deploying Bigdata from Zero to Million of records in Amazon Web ServicesDeploying Bigdata from Zero to Million of records in Amazon Web Services
Deploying Bigdata from Zero to Million of records in Amazon Web Services
 
HPC in AWS - Technical Workshop
HPC in AWS - Technical WorkshopHPC in AWS - Technical Workshop
HPC in AWS - Technical Workshop
 
Migração do seu website para a AWS
Migração do seu website para a AWSMigração do seu website para a AWS
Migração do seu website para a AWS
 
Seminario de Cloud Computing na UFRRJ
Seminario de Cloud Computing na UFRRJSeminario de Cloud Computing na UFRRJ
Seminario de Cloud Computing na UFRRJ
 
IBM Mobile Platform: Desenvolvimento de Aplicações Mobile
IBM Mobile Platform: Desenvolvimento de Aplicações MobileIBM Mobile Platform: Desenvolvimento de Aplicações Mobile
IBM Mobile Platform: Desenvolvimento de Aplicações Mobile
 
Just java 2011
Just java   2011Just java   2011
Just java 2011
 
Webcast WebSphere Portal Performance
Webcast WebSphere Portal PerformanceWebcast WebSphere Portal Performance
Webcast WebSphere Portal Performance
 

Webinar de Dados Abertos na AWS

  • 1. © 2015, Amazon Web Services, Inc. ou suas afiliadas. Todos os direitos reservados. Dados Abertos na Amazon Web Services Webinar Alex Coqueiro Arquiteto de Soluções na Amazon Web Services @alexbcbr @AWSBrasil 24 de Novembro de 2015
  • 2. Agenda •  Uso de Dados Abertos pelo mundo •  Implementação de plataforma •  Banco de Dados Públicos •  Portais de Dados Abertos •  Recomendações
  • 3. Definição de Dados Abertos ‘Open Data’? “Dados abertos são dados que podem ser usados por qualquer pessoa para qualquer finalidade sem custo.” See more at: http://opendefinition.org
  • 4. Localização digital em iRideNYC.info O Departamento de Transporte de Nova York usa uma estratégia de desenvolvimento ”mobile first" e "codifique uma vez, execute em qualquer lugar" que permite desenvolver aplicativos móveis de baixo custo voltados para dados. Sem a instalação do aplicativo em nenhum dispositivo, você pode encontrar metrôs e pontos de ônibus MTA, estações do CitiBike e locais de interesse em http://iRideNYC.info
  • 5. Localização digital em iRideNYC.info O iRideNYC.info aproveita a linguagem de design direcionada a dados da WalkNYC, que cria mapas baseados em camadas de dados.
  • 6. Localização digital em iRideNYC.info A MTA fornece APIs de dados abertos que permitem ao iRideNYC.info exibir em tempo real o horário de chegada de metrôs e ônibus. A API do CitiBike também é usada para obter o status da estação e a disponibilidade de bicicletas.
  • 7. Salvando vidas com dados do censo "Só em 2013, os EUA passaram por 1,24 milhão de incêndios, resultando em quase 20 mil mortos ou feridos e gerando mais de US$ 11 bilhões em danos materiais. Tragicamente, muitas dessas mortes são evitáveis: três em cada cinco mortes em casa devido a incêndio ocorreram em edifícios sem alarmes de fumaça em funcionamento." http://blog.enigma.io/open-data-and-public-safety/
  • 8. Salvando vidas com dados do censo Como determinar se é necessário um novo alarme de incêndio? "...um analista no Escritório de Desempenho e Responsabilidade (OPA) de Nova Orleans construiu um modelo de regressão logística utilizando o American Housing Survey (AHS) de 2011... Com essa iniciativa, o Corpo de Bombeiros de Nova Orleans e o OPA mudaram: em vez de entregar passivamente alarmes de fumaça para salvar vidas, passaram a alcançar ativamente os moradores mais vulneráveis de Nova Orleans, tudo graças a uma união da experiência dos bombeiros com insights extraídos de dados abertos." http://blog.enigma.io/open-data-and-public-safety/
  • 9. Salvando vidas com dados do censo A Enigma utilizou os resultados de Nova Orleans e criou um produto de análise para prever deficiências de alarme de incêndio em várias cidades dos Estados Unidos. Eles usam a AWS para compartilhar a infraestrutura e os dados subjacentes usados para criar a ferramenta. https://github.com/enigma-io
  • 10. BuildSmartDC Eficiência, custo e rastreamento de emissões em 400 edifícios, totalizando 30MM pés2. Produz mais de 50.000 pontos de dados por dia. O Amazon EC2 é usado para: •  Acessar APIs externas •  Servir às APIs internas que alimentam o BSDC O S3 hospeda: •  Ativos da web estáticos •  Mais de 1600 arquivos CSV atualizados diariamente e publicamente acessíveis com informações de uso dos edifícios
  • 12. Implementando a sua plataforma de Dados Abertos na AWS
  • 13. Bucket do Amazon S3 Amazon EMR Amazon EC2 AWS Lambda Amazon Redshift Amazon DynamoDB O poder dos dados abertos na nuvem Tornar os dados na AWS abertos permite mais inovação, disponibilizando os dados para acesso rápido por nossos recursos de computação flexíveis e de baixo custo.
  • 14. Dados abertos como uma plataforma Enriquecimento de dados Fazsentido Dados em repouso (armazenamento de objetos) APIs básicas APIs complexas Aplicativos para consumidores Política algoritmica Jornalismo baseado em dados Catálogos de dados Painéis voltados para datos Modelos preditivos Visualizações Custo de conhecimento menor (eficiência) Criação de dados
  • 15. Dados abertos como uma plataforma Enriquecimento de dados Fazsentido Amazon Kinesis Amazon EC2 Amazon EC2 AWS Data Pipeline Amazon S3 Amazon RDS Amazon EMR Amazon Redshift Amazon DynamoDB AWS Lambda
  • 16. Dados na AWS A Amazon Web Services fornece um toolkit abrangente para reunir, armazenar, analisar e trabalhar com dados em qualquer escala. Amazon Elastic MapReduce (Amazon EMR) fornece a estrutura de análises Apache Hadoop como um serviço gerenciado fácil de usar. Amazon S3 permite que você armazene e recupere qualquer quantidade de dados, a qualquer momento, de qualquer local da Web. Amazon DynamoDB é um serviço de banco de dados NoSQL totalmente gerenciado que torna econômico o armazenamento e a recuperação de qualquer quantidade de dados.
  • 17. Bancos de dados públicos da AWS
  • 18. Bancos de dados públicos na AWS Para promover mais inovação, a AWS hospeda alguns bancos de dados que qualquer pessoa pode acessar gratuitamente. Os dados em nossos bancos de dados públicos estão disponíveis para acesso rápido por nossos recursos de computação flexíveis e de baixo custo. Ciência da Terra Landsat na AWS Ciências biológicas Projeto 1000 Genomes Ciência da Internet Corpus para rastreamento comum
  • 19. O que é o Landsat? O programa Landsat é um esforço conjunto do Serviço Geológico dos EUA e da NASA. É o programa mais antigo para coletar imagens da Terra do espaço e é considerado o padrão ouro para imagens de satélite de recursos naturais.
  • 20. Landsat na AWS Temos o compromisso de tornar até 1 petabyte de imagens do Landsat prontamente disponíveis como objetos no Amazon S3. Todos as cenas do Landsat 8 desde 2015 estão disponíveis, juntamente com uma seleção de cenas sem nuvens desde 2013 e 2014. Todas as novas cenas do Landsat 8 são disponibilizadas diariamente, muitas vezes algumas horas depois da produção.
  • 21. Landsat na AWS Nos primeiros 150 dias: •  3,8 PB de dados acessados •  560 milhões de visitas de 167 países •  3,7 milhões de acessos diários em média •  25 TB de dados transferidos diariamente em média •  2 novos aplicativos: Snapsat e navegador Astro Digital •  Alimentando o desenvolvimento de novos produtos de Mapbox, Trimble, Esri, CartoDB, MathWorks e Development Seed
  • 22. O Landsat é um grande dado aberto O programa Landsat é um esforço conjunto do Serviço Geológico dos EUA e da NASA. É o programa mais antigo para coletar imagens da Terra do espaço e é considerado o padrão ouro para imagens de satélite de recursos naturais. Tem sido tradicionalmente demorado e caro para adquirir, armazenar e analisar os dados do Landsat.
  • 23. O que é o Landsat? As cenas do Landsat são compostas de vários arquivos, cada um dos quais inclui dados sobre os diferentes tipos de luz refletida da Terra. O programa Landsat está em operação desde 1972.
  • 24. Wellington, Nova Zelândia – 29 de junho de 2015 RGB Luz visível Infravermelho Vegetação Infravermelho de ondas curtas Áreas urbanas
  • 25. Snapsat Uma equipe de cinco programadores iniciantes usou o Landsat na AWS para desenvolver um aplicativo web chamado Snapsat que cria visualizações de dados do Landsat em segundos. O Snapsat foi desenvolvido durante o programa de treinamento de 8 semanas da equipe no Code Fellows. Eles lançaram apenas alguns meses depois de aprender a escrever código. http://snapsat.org
  • 26. Esri – Unlock Earth’s Secrets A Esri criou uma ferramenta para mostrar como o ArcGIS Online pode visualizar rapidamente dados do Landsat para visualização e análise em tempo real dentro do navegador. "Não são serviços de cache gerados previamente limitados apenas à visualização, eles são serviços de imagem dinâmicos e de alto desempenho que executam processamento imediato e mosaicos dinâmicos de imagens multiespectrais e multitemporais do Landsat." http://www.esri.com/landsatonaws
  • 27. MATLAB – Landsat8 Data Explorer A MathWorks criou uma ferramenta com base no MATLAB com download gratuito para acesso, processamento e visualização de dados do Landsat 8. A ferramenta permite que os usuários do MATLAB encontrem, analisem e combinem cenas do Landsat 8 com outras fontes de dados do GIS para novas visualizações. http://blogs.mathworks.com/steve/2015/03/19/matlab-landsat-8-aws/
  • 28. Astro Digital Browser O Astro Digital usa o Landsat na AWS para criar um navegador e API que permitem aos desenvolvedores procurar o catálogo de imagens do Landsat 8, filtrar por data e cobertura de nuvem e, em seguida, selecionar qualquer imagem. A imagem é processada imediatamente, reunindo bandas e corrigindo cores, e carregada na nossa API. Em poucos minutos, você terá um e-mail com um link para o ponto de acesso da API que pode ser carregado em qualquer aplicativo web ou móvel. http://fetch.astrodigital.com
  • 29. Landsat na AWS como uma plataforma
  • 30. Portais de Dados Abertos
  • 31. Portais de dados abertos Muitos parceiros da AWS oferecem serviços que facilitam a publicação e o uso de dados abertos, incluindo plataformas de catálogos como CKAN, DKAN, Junar, OpenDataSoft e Socrata.
  • 33. Uma abordagem da Amazon para dados abertos •  Trabalhar de forma a identificar o que faz sentido compartilhar com relação ao cliente •  Eliminar o trabalho que não agrega valor
  • 34. Trabalhar no que faz sentido •  Procurar dados valiosos, ouvindo as necessidades dos clientes •  Considerar os casos de uso do mundo real para os dados •  Considerar o tamanho da comunidade de usuários ou oportunidade de mercado
  • 35. Eliminar o que não agrega valor “…os dados devem ser organizados, bem documentados, formatados de forma consistente e livres de erros. Limpar os dados é muitas vezes a parte mais desgastante da ciência de dados, e representa frequentemente 80% do trabalho.” — Data Driven por DJ Patil e Hilary Mason
  • 36. Trazendo inovações com dados abertos Para trazer a inovação com seus dados, você precisa garantir três coisas fundamentais ao compartilhá-los: 1.  Os dados são precisos 2.  Eles são fornecidos com documentação 3.  Eles permanecerão disponíveis aos desenvolvedores amanhã Nota: esses não são necessariamente problemas técnicos.
  • 37. Muito Obrigado! Alex Coqueiro Arquiteto de Soluções @alexbcbr @AWSBrasil