Open Data

Dados abertos
web semântica
e aﬁns...

Saturday, May 28, 2011

http://creativecommons.org/licenses/by-nc/3.0/br/

motivação


al
ão soci
i b ui ç
contr
huma
n en


open data
oportunidade de fazer algo
socialmente relevante

In Web development, a

mashup
is a Web page or application
that uses and combines
data, presentation or functionality
from two or more sources
to create new services

http://en.wikipedia.org/wiki/Mashup_(web_application_hybrid)

mashup = site 1 + site 2 + site 3

http://www.ﬂickr.com/photos/malevagotica/3626951756/

programmableweb.com/mashup-tag-cloud


The Open Mind Principle

“ O melhor uso que
poderá ser feito com
seus dados certamente
será feito por outros e
não por você.
@ricardopoppi

#opendata
dados abertos


“ A piece of content or data
is open if anyone is
free to use, reuse,
and redistribute it
— subject only, at most,
to the requirement to
attribute and share-alike.
http://www.opendeﬁnition.org/

“ It’s crucial because
open data is so much
easier to break-up
and recombine, to use
and reuse.
http://www.opendatacommons.org/

#opengovdata dados abertos governamentais


“ Open Government Data
is public government records
that is shared
with the public digitally,
over the Internet,
in a way that promotes
analysis and reuse.
http://www.opengovdata.org/

8 Principles of Open Government Data
1. Data Must Be Complete
2. Data Must Be Primary
3. Data Must Be Timely
4. Data Must Be Accessible
5. Data Must Be Machine processable
6. Access Must Be Non-Discriminatory
7. Data Formats Must Be Non-Proprietary
8. Data Must Be License-free
http://www.opengovdata.org/

<rdf:Description rdf:about="#entry1">
<total_it_spending_fy2010_enacted>
8.367
</total_it_spending_fy2010_enacted>
<description>
The National Source Tracking System will support
implementation of a forthcoming rule for licensee reporting on
sealed sources containing nuclear materials by providing
online tracking of individual sealed sources throughout their
entire life cycle.</description>
<title>National Source Tracking System (NSTS)</title>
<bureau_name>NRC - Agency-wide</bureau_name>
<agency_name>Nuclear Regulatory Commission</agency_name>
<unique_project_identiﬁer>
429-00-01-04-01-1010-00
</unique_project_identiﬁer>
<rdf:type rdf:resource="http://data-gov.tw.rpi.edu/2009/
data-gov-twc.rdf#DataEntry"/>
</rdf:Description>


Iniciativas
públicas e privadas


Um dia esbarrei com este post....

...e conheci os THackers

http://wiki.thackdaydf.com.br

http://thacker.com.br/

“ SOBRE A THACKER
A comunidade Transparência Hacker é
um espaço para que desenvolvedores
web, jornalistas, designers, gestores
públicos e outros indivíduos dos mais
diferentes perfis proponham e articulem
ideias e projetos que utilizem a
tecnologia para fins de
interesse da sociedade.

http://sacsp.mamulti.com/

http://www.deputadosanalytics.com.br/

Essas foram algumas iniciativas da comunidade...

...mas o governo, seguindo a tendência
mundial, já começou a se mexer.


http://portal.dataprev.gov.br/tag/dados-abertos/

http://www.governoaberto.sp.gov.br

“ disponibilização de cópias
atualizadas de suas bases de
dados públicas, em caráter
aberto e gratuito pela Internet,
busca estimular a criação de
novos serviços eletrônicos, a
promoção da transparência e a
melhoria de qualidade das
informações de interesse da
sociedade.

http://www.governoaberto.sp.gov.br

http://api.tcm.ce.gov.br/

http://wiki.gtinda.ibge.gov.br/

dados.gov.br

Art. 37. A administração
pública direta e
indireta de qualquer dos
Poderes da União, dos
Estados, do Distrito
Federal e dos Municípios
obedecerá aos princípios
de legalidade,
impessoalidade,
moralidade, publicidade
e eficiência.


LEI COMPLEMENTAR Nº 101, DE 4 DE MAIO DE 2000.
Estabelece normas de ﬁnanças públicas voltadas para a
responsabilidade na gestão ﬁscal e dá outras providências.

Art. 48. São instrumentos de transparência da gestão
fiscal, aos quais será dada ampla divulgação, inclusive
em meios eletrônicos de acesso público: os planos,
orçamentos e leis de diretrizes orçamentárias; as
prestações de contas e o respectivo parecer prévio; o
Relatório Resumido da Execução Orçamentária e o
Relatório de Gestão Fiscal; e as versões simplificadas
desses documentos.

http://www.planalto.gov.br/ccivil_03/Leis/LCP/Lcp101.htm

http://www.senado.gov.br/atividade/materia/detalhes.asp?p_cod_mate=96674

PLC - PROJETO DE LEI DA CÂMARA, Nº 41 de 2010
(Lei de Acesso à Informação)
I – observância da publicidade como preceito geral
e o sigilo como exceção;

II – divulgação de informações de interesse
público, independentemente de solicitações;

III – utilização de meios de comunicação
viabilizados pela tecnologia da informação;

IV – fomento ao desenvolvimento da cultura de
transparência na administração pública;

V – desenvolvimento do controle social da
administração pública.

http://legis.senado.gov.br/mate-pdf/76710.pdf


Art. 6º Cabe aos órgãos e entidades do poder
público (...) assegurar a:

I - gestão transparente da informação, propiciando
amplo acesso a ela e sua divulgação;

II - proteção da informação, garantindo-se sua
disponibilidade, autenticidade e integridade;



Art. 7º O acesso à informação de que trata esta Lei
compreende, entre outros, os direitos de obter:

(...)

IV - informação primária, íntegra, autêntica e
atualizada;


E o kiko?

webcidadania
“coadjuvando na web”


http://www.cidadedemocratica.org.br

web semântica
Web 3.0


http://www.worldwidewebsize.com/

A Internet tem um
tamanho estimado de
40 bilhões de páginas.

http://www.worldwidewebsize.com/

Falta-lhe signiﬁcado...

¿município?


“ A web é um lugar onde os
computadores são responsáveis
pela apresentação (fácil)
e as pessoas fazem a
interpretação (difícil)

http://wiki.thackdaydf.com.br/index.php/Web_Semantica

apresentação -> fácil -> computador

interpretação -> difícil -> homem


inverter
Por que não

?

apresentação -> fácil -> homem

interpretação -> difícil -> homem


apresentação -> fácil -> homem

interpretação -> difícil -> computador


aí sim potencializaremos o uso de dados

mas, pra isso, a
primeira coisa a se
fazer é deﬁnir um
vocabulário
comum...


-> ontologia


RDF
resource description framework
tr i pl as

:Documento :ehDoTipo “nota_ﬁscal”

<foaf:Person rdf:ID="me">
<foaf:name>Alexandre Gomes</foaf:name>
<foaf:title>Mr</foaf:title>
<foaf:givenname>Alexandre</foaf:givenname>
<foaf:family_name>Gomes</foaf:family_name>
<foaf:nick>alegomes</foaf:nick>
<foaf:homepage rdf:resource="alegom.es"/>
<foaf:workplaceHomepage rdf:resource="http://s.eat.ec"/>
<foaf:schoolHomepage rdf:resource="http://unb.br"/>
</foaf:Person>


SPARQL
SPARQL Protocol and RDF Query Language

PREFIX foaf:
SELECT ?name ?email
WHERE {
?person a foaf:Person.
?person foaf:name ?name.
?person foaf:mbox ?email.
}

http://dl.dropbox.com/u/18364240/Aula1Augusto/dia1.html
http://dl.dropbox.com/u/18364240/Aula1Augusto/dia2.html

documentos coisas

“ A Web Semântica é uma
extensão da web atual na
qual é dado a informação um
signiﬁcado bem deﬁnido,
permitindo com que
computadores e pessoas
trabalhem em cooperação.

Berners-Lee, Hendler e Lassila

Na prática...

Dados


Fontes de dados


http://www.datasus.gov.br

http://tse.gov.br

http://www.receita.fazenda.gov.br/

http://inep.gov.br/

http://www.ibge.gov.br/

http://www.sigabrasil.gov.br

http://www.senado.gov.br

http://www.comprasnet.gov.br/

http://www.portaldocidadao.tce.sp.gov.br

Dados
(abertos)


PDF
DOC
XLS


PDF
DOC
XLS HTML


PDF
DOC
XLS HTML CSV


PDF
DOC XML
XLS HTML CSV JSON


PDF
DOC XML
XLS HTML CSV JSON RDF


Scraping

PDF
DOC XML


Scraping API

PDF
DOC XML


Scraping

Nokogiri
An HTML, XML, SAX, & Reader parser with
the ability to search documents via XPath or
CSS3 selectors… and much more

http://nokogiri.org/

doc.css(“.td_numeros”).content


A swift, liberal
HTML parser with a
fantastic library

http://hpricot.com/

Beautiful Soup is a Python HTML/XML
parser designed for quick turnaround
projects like screen-scraping.

http://www.crummy.com/software/BeautifulSoup/

http://jquery.com/

Scraping API
PDF
DOC XML


SOA
Service Oriented Architecture


What is YQL?
The Yahoo! Query Language is an
expressive SQL-like language that
lets you query, filter, and join data
across Web services.


Data
Visualization


http://estadao.com.br/especiais/a-nova-assembleia-legislativa-de-sao-paulo,133312.htm


http://tables.googlelabs.com/

http://www.informationisbeautiful.net/

http://oreilly.com/catalog/9780596157128

? http://www.slideshare.net/seatecnologia

show me, :the => code


Primeiros resultados definitivos do Censo 2010:
população do Brasil é de 190.755.799 pessoas
O Brasil tem 190.755.799 habitantes. É o que
constata a Sinopse do Censo Demográfico 2010, que
contém os primeiros resultados definitivos do XII
Recenseamento Geral do Brasil... 29/04/2011

http://www.ibge.gov.br

Resumo do Censo 2010


Qual a relação entre os índices de
alfabetização e a proporção feminina?


Exemplo
mulheres da região 7.859.539
= = 0.49
total de pessoas da região 7.859.539 + 8.004.915

alfabetizados* da região 11.326.492
= = 0.89
total de pessoas* da região 12.670.041

* acima de 10 anos de idade

E nas
demais
regiões?

Scraping by
Examples

Nokogiri


#1 Acessar a página que
contém o dado
desejado


teste


teste

codigo


$ rspec spec/ibge_censo2010_spec.rb:8
Run ﬁltered using {:line_number=>8}

IBGECenso2010
should open page with "Razão de sexo,
população de homens e mulheres"

Finished in 44.4 seconds
1 example, 0 failures
$


#2 Recuperar o
dado desejado


Antes, entenda a
estrutura da página


<table>
<thead>...</thead>
<tfoot>
<tr>
<td>...</td>
<td>...</td>
<td>...</td>
<td>...</td>
<td>...</td>
</tr>
</tfoot> Estude o caminho
<tbody>...</tbody> do dado na árvore
DOM
</table>

Observe IDs e
classes CSS que
podem ser úteis.


class="td_numeros"


".td_numeros"

[


".td_numeros"

[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
15 16 17

1º dado de que
precisamos.
(numerador da fórmula)

[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
15 16 17

2º dado de que
precisamos.
(para o cálculo do
denominador da fórmula)

[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
15 16 17

mulheres da região N dados[5]
=
total de pessoas da região N dados[4] + dados[5]

[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
15 16 17

code


$ rspec spec

IBGECenso2010
razao de sexo
should open page with "Razão de sexo,
população de homens e mulheres"
should get number of women

Finished in 1.78 seconds
2 examples, 0 failures


#3 Recuperar o
restante de dados
desejados


#4 Apresentação
Web do scrapping


application.rb

(...)

application.rb
(...)


index.erb

(...)


http://datavisualization.ch/tools/13-javascript-libraries-for-visualizations

me do s
o c har na
ups e s tá
m ash ção
sualiza
vi
diferenciada
de dados

http://datavisualization.ch/tools/13-javascript-libraries-for-visualizations

#5 Visualização
(ainda tosca) do
scrapping


#6 Visualização
diferenciada da
informação


?

Agora, a
mesma
coisa,
apenas
com
Javascript

test


index.html


index.html

(...)

http://chart.apis.google.com/chart?
chxt=y&chbh=a&chs=500x300&cht=bvg&chco=A2C180,3D7930
&chd=t:49,51,51,50,50|89,82,94,95,93
&chdl=Women|Literates&chp=0.033

código disponível em...


http://www.slideshare.net/seatecnologia

Open Data

Recomendados

Recomendados

Más contenido relacionado

Similar a Open Data

Similar a Open Data (20)

Más de SEA Tecnologia

Más de SEA Tecnologia (20)

Open Data