More Related Content Similar to Linked Dataの基本原則-LODを公開するときに知っておきたい基本技術- (20) More from Kouji Kozaki (16) Linked Dataの基本原則-LODを公開するときに知っておきたい基本技術-2. 自己紹介
コミュニティ活動
LODチャレンジ実行委員会(2011~) 関西支部長
→LOD(Linked Open Data)を技術普及させたい
「LODチャレンジ」(コンテスト)への応募作品を増やしたい
特に,地元「大阪(関西)」でのコミュニティを大きくしたい
2015/9/13 2
研究成果として
公開中のソフト
LOD Challenge Day KOBE 2015
古崎(こざき)晃司
@koujikozaki
本職: 大阪大学の研究者
専門: 情報科学(オントロジー工学)
=“かしこい”コンピュータ(ソフトウェア)を作る
→学問にとどまらず,
世の中で使われる技術を作りたい
4. はじめに,質問
「LOD(Linked Open Data)」と
いう言葉を聞いたことがある方?
LODの公開(RDFデータの公開)
をしたことがある方?
SPARQLを書いたことがある方?
LODを使ったアプリを作ったこと
がある方?
2015/9/13 LOD Challenge Day KOBE 2015 4
6. 2014年度にOIHで開催された
オープンデータ関連イベント
Mozilla x HTML5 x LOD Webイノベーションハッカソン
第1回:6月28日, 29日 第2回:7月19日 第3回:9月14日、15日
Civic Hack Osakaハッカソン :8月24日、31日
第1回自治体オープンデータ推進協議会 :11月25日、31日
(一般社団法人オープンコーポレイツジャパン主催)
第4回 Linked Open Data ハッカソン関西 with LODC2014×UDC2014 :12月7日
インターナショナルオープンデータディプレプレイベント :12月21日
関西オープンデータEXPO’15
-インターナショナルオープンデータディプレイベント- :2月11日
関西23団体以上が集結!
第5回LODハッカソン関西inインターナショナルオープンデータディ大阪:2月21日
オープンデータ×ゲームハッカソン :2015年2月22日, 28日、3月1日
2015/9/13 6
計10回,16日間のオープンデータ関連イベントを開催!
うち,LODを冠するイベント5回(7日間)
台風で
延期
台風で
延期
台風で延期
2回!
LOD Challenge Day KOBE 2015
10. 人工知能 Vol.30 No.5( 2015年9月)
特集:「Linked Data とセマンティック技術」
特集「Linked Data とセマンティック技術」にあたって
長野伸一・古崎晃司
Linked Data とWeb アーキテクチャ-DBpedia Japanese を例に-
加藤文彦
Linked Data 活用を促進するプラットフォーム
岡嶋成司・山根昇平・粂照宣
ストリーム推論 市瀬 龍太郎
Linked Data とセマンティック技術の海外動向
川村隆浩・森田武史・福田直樹
オープンデータ普及促進に向けた国内行政機関の取組み
浅野 優
オープンデータの普及促進を加速させるコンテストの開催
-LOD チャレンジJapan の取組み- 乙守信行・中辻真・萩野達也
※Amazonでも購入可能・Kindle版も有り
2015/9/13 LOD Challenge Day KOBE 2015 10
11. 講演の概要
本講演のメイントピック
オープンデータをLOD (Linked Open Data)
として公開する際に,知っておきたい
Linked Dataの基本技術
Linked Data の4原則
覚えていただきたいキーワード
IRI(URI)
参照解決
2015/9/13 LOD Challenge Day KOBE 2015 11
13. オープンデータとは
オープンデータとは
誰でも自由に使える形で公開されているデータ
オープンデータの定義(Open Definition)
“Open data and content can be freely used, modified,
and shared by anyone for any purpose”
(http://opendefinition.org/)
オープンデータでない例
改変や再配布が禁止されている
利用者を限定 例)学術機関のみ,個人利用不可
利用目的を限定 例)商用利用不可,コンテスト応募目的のみ
2015/9/13 LOD Challenge Day KOBE 2015 13
14. オープンデータの2つの観点
ライセンス(cf.クリエイティブコモンズ)
使用目的を限定せず(例:商用も可),再配布,改変も可
「作成者のクレジットの表示」の義務付け程度の制限はOK
→“まじめな人”(※)が,安心して使える
=より多くの人の利用が見込まれる
(※悪いことをする人は,ライセンスを気にせず勝手に使う)
機械可読な形式
プログラムで処理しやすいフォーマットが望まれる
→“使いたい人”が,簡単に使える
=低コストで多くのアプリ(活用事例)が作れる
LOD(Linked Open Data)は,「オープンデータの5つの段階」
で「5つ星」と言われている公開方法
2015/9/13 LOD Challenge Day KOBE 2015 14
16. Linked Data
Linked Data:Web上のデータを,つなぐ(linkする)ことで,新し
い価値を生み出そうとする取り組み.
Webの創始者Tim Berners-Lee氏が提唱
http://linkeddata.org/
162015/9/13 LOD Challenge Day KOBE 2015
17. Linked Dataが目指すこと
WWW(World Wide Web)
文書を公開し,相互に接続(ハイパーリンク
でつなぐ)ための革命的な仕組みを提供し
たことで,今日のWebの発展につながった.
Linked Data
データを共有(公開)し,相互につなぐ仕組
みを提供する.
Linked Dataの原理
データの構造化
構造化されたデータはより洗練された処理を可能にする
分散したデータをつなぐハイパーリンク
文書単位では無く,データ単位のリンクを可能にする.
データの島々から一つのグローバルデータ空間へ
分散されたデータ群を1つのグローバルなデータ空間へ統合する
参考:『Linked Data-Webをグローバルな
データ空間にする仕組み(Tom Heath, Christian
Bizer(武田英明監訳),丸善,2013)』 1章.
172015/9/13 LOD Challenge Day KOBE 2015
20. 既に公開・リンクされているLOD
~LODクラウド~
2015/9/13 20
Domains # of dataset %
Government 183 18.05
Publications 96 9.47
Life sciences 83 8.19
User-generated content 48 4.73
Cross-domain 41 4.04
Media 22 2.17
Geographic 21 2.07
Social web 520 51.28
Total 1014
LOD Challenge Day KOBE 2015
21. 5 ★ オープンデータ
★ (どんな形式でも良いので) あなたのデータをオープンライセンスでWeb上に公
開しましょう
★★ データを構造化データとして公開しましょう
★★★ 非独占の形式を使いましょう
★★★★ 物事を示すのにURIを使いましょう,そうすることで他の人々があなたのデータ
にリンクすることができます
★★★★★ あなたのデータのコンテキストを提供するために他のデータへリンクしましょう
http://5stardata.info/ja/
より引用
ライセンスについて
フォーマットについて
Webの発明者でありLinked Dataの創始者でもあ
るティム・バーナーズ=リーがオープンデータのた
めに提案したスキーム
※注:図中のPDF,エクセル,CSVのアイコンは,
あくまでも例示であって,そのフォーマットを推奨
している訳ではない.
212015/9/13
LOD
LOD Challenge Day KOBE 2015
22. Linked Dataの基本原則
1. Use URIs as names for things
全てのモノやコトにURIをつけましょう
2. Use HTTP URIs so that people can look
up those names.
それらのURIをhttp(Webブラウザと同じ方法)
で参照(アクセス)できるようにしましょう
3. When someone looks up a URI, provide useful
information, using the standards (RDF, SPARQL)
そのURIを参照したら,標準の技術(RDFやSPARQL)を使用し
て,役に立つ情報を提供するように
4. Include links to other URIs. so that they can discover
more things.
多くのモノ・コトを発見できるように,外部へのリンクを含めよう.
原文引用元 http://www.w3.org/DesignIssues/LinkedData.html
日本語訳参考 http://www.slideshare.net/takeda/lod-5163454
5★オープンデータ
で言及
5★オープンデータ
で言及
222015/9/13 LOD Challenge Day KOBE 2015
23. Linked Dataの背景となる
Webアーキテクチャ
Http IRI(URI)による情報リソースの識別
(IRIはURIの国際化版.以後,この発表ではURIとIRIが同
じものとして聞いて下さい.)
Web上のすべての情報リソース(HTML文書,画像ファイル,
…など)を,IRIによりグローバルに識別する.
Http IRIでサーバにアクセスすると,HTML文書や画像ファ
イルが返ってくる<参照解決>
同じIRIに対し複数の表現(PNGファイルとGIFファイルなど)
がある場合,Content Negotiation(内容折衝)という仕組み
で,必要なファイルを返す
例)日本語環境からアクセスされたときは,日本語ページを返す
HTMLファイル内のハイパーリンク
他のIRIを指定することでリンク可能に!
2015/9/13 LOD Challenge Day KOBE 2015 23
24. IRIによる識別・Http IRIの利
用
原則1:IRIによる識別
情報リソース以外のすべての事物(モノやコト)にも
IRIを与える
例)http://ja.dbpedia.org/resource/大阪市
→大阪市という事物自身を指している
原則2: Http IRIの利用
ISBNのURNなど他のIRIを使わない
Web標準技術であるHttp IRIを使う
2015/9/13 LOD Challenge Day KOBE 2015 24
25. IRIによる識別・外部へのリン
ク
原則3:IRIの参照解決
例:DBpedia Japaneseにおける大阪市
事物(非情報リソース)
http://ja.dbpedia.org/resource/大阪市
HTML表現(情報リソース)
http://ja.dbpedia.org/page/大阪市
Turtle表現(情報リソース)
http://ja.dbpedia.org/data/大阪市.ttl
RDF/XML表現(情報リソース)
http://ja.dbpedia.org/data/大阪市.rdf
原則4:外部へのリンク
外部のIRIとリンクすることで,Webページのように
データが「つながる」.
2015/9/13 LOD Challenge Day KOBE 2015 25
29. Linked Dataの基本原則
1. Use URIs as names for things
全てのモノやコトにURIをつけましょう
2. Use HTTP URIs so that people can look
up those names.
それらのURIをhttp(Webブラウザと同じ方法)
で参照(アクセス)できるようにしましょう
3. When someone looks up a URI, provide useful
information, using the standards (RDF, SPARQL)
そのURIを参照したら,標準の技術(RDFやSPARQL)を使用し
て,役に立つ情報を提供するように
4. Include links to other URIs. so that they can discover
more things.
多くのモノ・コトを発見できるように,外部へのリンクを含めよう.
原文引用元 http://www.w3.org/DesignIssues/LinkedData.html
日本語訳参考 http://www.slideshare.net/takeda/lod-5163454
292015/9/13 LOD Challenge Day KOBE 2015
30. LODの公開方法
参照解決可能なhttp URIsを用いた公開(原則2,3)
URIでデータにアクセスが可能
通常のWebページと同様に,データのURIを用いて「つながり」を辿る
ことが出来る=システムによる処理(リンク解析等)が可能
コンテントネゴシエーションに対応している場合,
Webブラウザからのアクセス→HTMLファイルを返す
Linked Dataブラウザからのアクセス→RDFを返す
.html,.rdf,.ttlなど拡張子に合わせた形式のファイルを返す
などの要求に応じたデータ形式で返す
→Linked Dataブラウザなど汎用のアプリの開発が可能に!
その他のLOD公開方法
RDFファイルのダンプ(全データ)をダウンロードできるところに置く
SPARQLエンドポイント(LODを検索可能なAPI)を公開する
→これだけではLinked Dataの基本原則を満たしていない!
2015/9/13 30LOD Challenge Day KOBE 2015
31. 参照解決可能なLODの例
日本語LODの例
DBpedia Japanese http://ja.dbpedia.org/
日本語Wikipediaオントロジー
http://www.wikipediaontology.org/
Web NDL Authorities
http://id.ndl.go.jp/auth/ndla/
ねじLOD http://monodzukurilod.org/neji/
Linked Dataブラウザ
Quick and Dirty RDF browser
※日本語IRIは文字化けする
http://graphite.ecs.soton.ac.uk/browser/
(Yet Another) Linked Data Browser
http://www.kanzaki.com/works/2014/pub/ld-browser
312015/9/13 LOD Challenge Day KOBE 2015
35. SPARQLによるRDFの検索
SPARQL
RDFデータに対するクエリ言語
「指定したグラフ構造」に一致するトリプルを検索する
最も基本的な検索
select ?s ?p ?o
where {
?s ?p ?o .
}
LIMIT 100 ←取得する数の制限
←検索するグラフのパターン
←返す要素
(*は全て)
この例では「任意のトリプルの組み合わせ」
このパターンを変
えることで,欲しい
データを取得する
352015/9/13 LOD Challenge Day KOBE 2015
36. SPARQL Endpointの例
2015/9/13 LOD Challenge Day KOBE 2015 36
サンプルクエリ集
https://t.co/6eQIPel5Vh
http://ja.dbpedia.org/sparql
ここに,クエリを入れる
※プログラムからのクエリ
+結果取得も可能
37. DBpedia Japaneseの検索例
「各都道府県で生まれた政治家の数」を調べる
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX dbpedia-owl: <http://dbpedia.org/ontology/>
PREFIX dcterms: <http://purl.org/dc/terms/>
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/>
PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:>
select distinct ?pref (count(?s) AS ?c) where {
?pref rdf:type dbpedia-owl:Place.
?pref dcterms:subject category-ja:日本の都道府県.
?s rdf:type dbpedia-owl:Politician;
dbpedia-owl:birthPlace ?pref.
}GROUP BY ?pref
ORDER BY ?c
2015/9/13 LOD Challenge Day KOBE 2015 37
38. DBpedia Japaneseの検索例
「各都道府県で生まれた芸人の数」を調べる
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX dbpedia-owl: <http://dbpedia.org/ontology/>
PREFIX dcterms: <http://purl.org/dc/terms/>
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/>
PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:>
select distinct ?pref (count(?s) AS ?c) where {
?pref rdf:type dbpedia-owl:Place.
?pref dcterms:subject category-ja:日本の都道府県.
?s rdf:type dbpedia-owl:Comedian;
dbpedia-owl:birthPlace ?pref.
}GROUP BY ?pref
ORDER BY ?c
2015/9/13 LOD Challenge Day KOBE 2015 38
ここを,
Politician→Comedian
に変えるだけ!
41. Turtle・N-Triplesの表現例
Turtle
@prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
@prefix foaf: <http://xmlns.com/foaf/0.1/>
<http://www.ei.sanken.osaka-u.ac.jp/~kozaki/>
rdf:type foaf:Person ;
foaf:name “Kouji Kozaki” .
N-Triples
<http://www.ei.sanken.osaka-u.ac.jp/~kozaki/>
<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>
<http://xmlns.com/foaf/0.1/Person>.
<http://www.ei.sanken.osaka-u.ac.jp/~kozaki/>
<http://xmlns.com/foaf/0.1/name> “Kouji Kozaki”.
2015/9/13 LOD Challenge Day KOBE 2015 41
http://www.ei.sanken.
osaka-u.ac.jp/~kozaki/ foaf:Person
rdf:type
foaf:name
Kouji Kozaki
1行
1行
ヘッダ
42. まとめ:Linked Dataの基本原則
• Linked Dataは,Web上で公開された
オープンデータを「つなぐ」仕組みです.
・http IRIによる識別 / 参照解決
・外部データとのリンク
• いろんなデータをつなぐことで,
「おもろい」組み合わせが見つかるかも!?
• オープンデータをLinked Open Data(LOD)として公
開するための方法は,午後のハンズオンで.
2015/9/13 LOD Challenge Day KOBE 2015 42