Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.
Linked Open Data(LOD)
の基本的な使い方
古崎 晃司
大阪電気通信大学/LODチャレンジ実行委員会
kozaki@osakac.ac.jp
Python Kansai #01
2019年7月14日
自己紹介
◼ コミュニティ活動
研究成果として
公開中のソフト
◼ 古崎(こざき)晃司@koujikozaki
◼ 所属:大阪電気通信大学・教授
◼ 専門:オントロジー工学(情報科学・人工知能)
=“かしこい”コンピュータ(ソフトウェア)を作る...
LODチャレンジ2019開催概要
• 応募期間:2019年6月1日 ~ 2019年10月1日
• 応募部門:
• 公式サイト http://lodc.jp
• 他コンテストとの重複応募もOK!
2019年内に受賞式を開催!
推論チャレンジとは?
シャーロック・ホームズのような
“推理”(推論)ができるAIシステムの開発
を目指した技術コンテスト
チャレンジのねらい
➢説明可能性(解釈可能性)を有するAI技術に関する最新技
術の促進・共有と,その分析・評価,体系化を...
はじめに,質問
◼ 「Linked Data」
「LOD(Linked Open Data)」
という言葉を聞いたことがある人?
◼ SPARQLについて聞いたことがある人?
◼ Webページを作ったことがある人?
講演概要
◼ Linked Open Data(LOD)の技術紹介
◼ LODの公開事例
◼ LODの使い方
覚えていただきたいキーワード
Linked Open Data(LOD) Linked Data
SPARQL Wikidata DB...
Linked Open Data (LOD)
Linked Open Data
=Linked Data + Open Data(オープンデータ)
=Linked Dataとして公開されたOpen Data
オープンデータとは
◼ オープンデータとは
◼ 誰でも自由に使える形で公開されているデータ
◼ オープンデータの定義(Open Definition)
◼ “Open data and content can be freely used, m...
オープンデータの2つの観点
◼ ライセンス(cf.クリエイティブコモンズ)
◼ 使用目的を限定せず(例:商用も可),再配布,改変も可
◼ 「作成者のクレジットの表示」の義務付け程度の制限はOK
→“まじめな人”(※)が,安心して使える
=より多...
5 ★ オープンデータ
http://5stardata.info/ より
オープン
ライセンス
(形式問わず)
機械可読な
フォーマット
オープンな
フォーマット
5★オープンデータにおけるLOD
◼ ★★★★ (RDF)
物事を示すのにURL(IRI)を使いましょう,そうすることで
他の人々があなたのデータにリンクすることができます
◼ ★★★★★ (LOD)
あなたのデータのコンテキストを提供するため...
Linked Data (LD)
Linked Data
=Webの仕組みを用いて相互に“リンクされた”
データ
Linked Data(2007頃-)
◼ Linked Data:Web上のデータを,つなぐ(linkする)ことで,新しい価値
を生み出そうとする取り組み.Webの創始者Tim Berners-Lee氏が提唱
※ Linked Open Da...
Webの仕組み
◼ URLを指定することで,Webページにアクセス
◼ 例)http://www.osakac.ac.jp 「大阪電気通信大学」
のページ
◼ URLは,世界中“すべて”のWebページの場所(ID)
を一意に特定できる仕組み
◼...
Webの仕組み→Linked Data
◼ URLを指定することで,Webページにアクセス
◼ 例) http://www.osakac.ac.jp 「大阪電気通信大学」の
ページ
◼ URLは,世界中“すべて”のWebページの場所(ID)
を...
Linked Dataの表現例
日本
大阪電気
通信大学
国
1924
設立
寝屋川市
129613133
(VIAF)
国立国会図書館典拠ID
位置する行政区
http://www.wikidata.org/entity/Q7105556 と...
Linked Data (RDF)の表現例
http://www.wikidata.
org/entity/Q17
http://www.wikidata.
org/entity/Q7105556
https://www.wikidata.or...
Linked Data (RDF)の表現例
http://www.wikidata.
org/entity/Q17
http://www.wikidata.
org/entity/Q7105556
https://www.wikidata.or...
PREFIX:IRIの省略表現
wd:Q17
wd:Q7105556
wdt:P17 1924
wdt:P571
wd:Q389633
http://viaf.org/
viaf/129613133
wdt:P349
wdt:P131
http...
LOD/Linked Dataの使い方
◼ Linked Dataの公開・利用方法
◼ 具体例) Wikidataを例として
Linked Dataの公開・利用法
◼ 参照解決可能なhttp IRIs(URL,URI)を用いた公開
◼ IRI(URI, URI)でデータにアクセスが可能
◼ 通常のWebページと同様に,データのURIを用いてhttp:
/https:で...
LODの公開例:
Wikidata(ウィキデータ)
• ウィキメディア財団が運営する
Wikipediaの「データ版」
• Wikipediaと同じようにデータを
コミュニティで編集,公開できる
• Wikipediaの「多言語リソース」
の相...
ウィキデータの特徴
◼ ウィキデータは、自由・共同作業・多言語・二次情報を
特徴とする、構造化データのデータベースです。
◼ 収集された構造化データは、ウィキペディア、ウィキメ
ディア・コモンズや、その他のウィキメディアのプロジェ
クトで活用さ...
WikipediaからWikidataへ
Wikipediaの各記事から
対応する
Wikidata項目へのリンク
Wikidataのデータ例(1/2)
Wikidataにおいて
「大阪電気通信大学(Q7105556)」のデータ
にWebブラウザでアクセスした例
http://www.wikidata.org/entity/Q7105556
(※うまく表示さ...
Wikidataのデータ例(2/2)
述
語
(プ
ロ
パ
テ
ィ
)
目
的
語
(オ
ブ
ジ
ェ
ク
ト
)
他のリソース
へのリンク
http IRIによるデータ取得
◼ WikidataにおけるデータのIRI
◼ http://www.wikidata.org/entity/ +ID で表される
◼ Q***** →リソース(エンティティ)のID
◼ P***** →プロパ...
IRIによるLODのデータ取得例
◼ WikidataにおけるPythonのデータ
◼ HTML
◼ https://www.wikidata.org/wiki/Q28865
◼ RDF/XML
◼ http://www.wikidata.or...
ウィキデータの検索サービス
:SPARQLエンドポイント(API)
ここに,クエリを入れる
・ブラウザからのアクセス
https://query.wikidata.org/
・プログラムからのアクセス
https://query.wikidat...
SPARQLによるRDFの検索
◼ SPARQL
◼ RDFデータに対するクエリ言語
◼ 「指定したグラフ構造」に一致するトリプルを検索する
◼ 最も基本的な検索
select ?s ?p ?o
where {
?s ?p ?o .
}
LIM...
WikidataのSPARQLサンプル
◼ 例)大阪市内で「位置座標」を持つデータ一覧
◼ サンプルクエリ集
◼ https://www.wikidata.org/wiki/Wikidata:SPARQL_q
uery_service/quer...
SPARQLクエリの
サンプルいろいろ
DBpedia Japaneseの検索例
◼ 「各都道府県で生まれた政治家の数」を調べる
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX dbpedia-owl: <htt...
DBpedia Japaneseの検索例
◼ 「各都道府県で生まれた芸人の数」を調べる
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX dbpedia-owl: <http...
Wikidataを用いたランキング
◼ 「日本の政治家の出身大学」ランキング
→実行結果
select ?univ ?univl (count(?s) As ?c) where{
?univ wdt:P31/wdt:P279* wd:Q3918...
Wikidataを用いたランキング
◼ 「日本の総理大臣の出身大学」ランキング
→実行結果
select ?univ ?univl (count(?s) As ?c) where{
?univ wdt:P31/wdt:P279* wd:Q391...
WikidataのSPARQLサンプル
◼ 例)プログラム言語の一覧(ロゴ+公式HP)
SELECT ?item ?itemLabel ?hp ?t ?pic
WHERE
{
?item wdt:P31 wd:Q9143 .
?item wdt...
WikidataのSPARQLサンプル
◼ Wikidataを使って鉄道会社ごとの総路線長
をランキングしてみる
select ?s ?sLabel ?o
where {
?s wdt:P31 wd:Q728937 .
?s wdt:P17 w...
WikidataのSPARQLサンプル
◼ 鉄道運営会社ごとの路線全長の合計
select (SUM(?o) as ?total) ?op ?opLabel
where {
?s wdt:P31 wd:Q728937 .
?s wdt:P17 ...
SPARQLクエリ結果の
可視化例(Wikidata利用)
ウィキデータの可視化ツール例
:Reasonator
https://tools.wmflabs.org/reasonator/
ウィキデータのID
を指定するだけで,
データの種類に応
じた可視化が可能
・人物
・場所
・生物
・カレンダー
...
ウィキデータの検索結果例
Map表示も可能
ウィキデータの可視化ツール例
:Scholia
◼ ウィキデータから,様々な学術情報を収集して可視化
https://tools.wmflabs.org/scholia/
LODの公開例
とりあえず,
使ってみると楽しそうなLOD
LOD公開の世界的なひろがり
~LODクラウド~
2007/5/1
2007/10/82008/9/182009/7/14
2010/9/222011/9/19時点
Linking Open Data cloud diagram 2014, b...
LOD公開の世界的なひろがり
~LODクラウド~
2018-05-30
(1,186データセット)
http://lod-cloud.net/
LODの世界的なひろがり
Linking Open Data cloud diagram,http://lod-cloud.net/
2007/5 12データセット
2014/8
2009/7
2017/2 1,139データセット
LODの公開...
DBpedia/Wikidata in LODクラウド
DBpedia
Wikidata
日本語で使えるLODの例
法人インフォ(経済産業省) eStat 統計LOD国立国会図書館LOD
DBpedia Wikidata JapanSearch
DBpedia
Wikipediaの各記事のインフォボックスの情報を抽出して自動
生成されるLOD
様々なデータをつなぐLODのハブ的な存在となっている.
※英語版と日本語版で,データ構造の違いがあるので注意
http://dbpedia.or...
DBpediaのデータ例(大阪市)
すべてのWikipediaの記事が
http://ja.dbpedia.org/resource/大阪市
のようなURL(IRI)でデータ化されている
生データの取得
検索API
プログラムからの
データ取得...
例)LODからの事実情報の取得
◼ DBpediaを百科事典的な
“知識”(事実情報)を取得する
ための汎用情報源として利用
医療分野での利用例
http://lod.hozo.jp/DiseaseChainViewer/ 生物分野での利用例
...
LOD/Linked Dataの例
Japan Search
https://jpsearch.go.jp/
・国内デジタルアーカイブの統合検索サービス
・SPARQLエンドポイントあり
LOD/Linked Dataの例
統計LOD
http://data.e-stat.go.jp/lodw/
・日本政府の統計データのLOD
・SPARQLエンドポイントあり
統計LODの使用例
ザ・地域統計パワーバトル
◼ LODチャレンジ2018 最優秀賞(林 正洋)
◼ https://www.mirko.jp/townpower/
LOD/Linked Dataの例
法人インフォ
https://hojin-info.go.jp/
・国内企業情報がSPARQLで取得可能
LOD/Linked Dataの例
Web NDL Authorities
https://id.ndl.go.jp/auth/ndla/
・SPARQLエンドポイントあり
・参照解決可能
.rdf .ttl .json
Linked Data/LODの利用技術
LOD(RDF)を扱うための
技術・ツール
◼ RDF用のライブラリ
◼ https://github.com/KnowledgeGraphJapan/sparql-
library-examples にプログラム言語でのサンプルあり
◼ Py...
まとめ:
LODの基本的な使い方
◼ LOD(Linked Open Data)
◼ Linked Dataとして公開されたOpen Data
◼ Linked Dataは,Web上で公開されたデータを
「つなぐ」仕組み
◼ URL(IRI)を...
参考資料:LOD全般
◼ Linked Data/Knowledge Graphチュート
リアル(※今後,情報を徐々に充実させます)
◼ http://knowledge-graph.jp/
◼ LODチャレンジ
◼ http://lodc.j...
参考資料:SPARQLについて
◼ SPARQL仕様(W3Cのドキュメント)
◼ SPARQL 1.1 Query Language
https://www.w3.org/TR/sparql11-query/
◼ SPARQLの解説本
◼ オー...
参考資料:学術系
◼ 人工知能学会セマンティックウェブとオントロジー(SWO)研究会
◼ http://www.sigswo.org/ 研究会資料公開あり
◼ ISWCサーベイ
◼ 分野のトップカンファレンスISWCの発表論文をSWO研究会有志...
Próxima SlideShare
Cargando en…5
×

Linked Open Data(LOD)の基本的な使い方

1.325 visualizaciones

Publicado el

Python Kansai #01
2019年7月14日
https://kansai-python.connpass.com/event/135610/
の講演資料

Publicado en: Tecnología
  • Sé el primero en comentar

Linked Open Data(LOD)の基本的な使い方

  1. 1. Linked Open Data(LOD) の基本的な使い方 古崎 晃司 大阪電気通信大学/LODチャレンジ実行委員会 kozaki@osakac.ac.jp Python Kansai #01 2019年7月14日
  2. 2. 自己紹介 ◼ コミュニティ活動 研究成果として 公開中のソフト ◼ 古崎(こざき)晃司@koujikozaki ◼ 所属:大阪電気通信大学・教授 ◼ 専門:オントロジー工学(情報科学・人工知能) =“かしこい”コンピュータ(ソフトウェア)を作る →学問にとどまらず, 世の中で使われる技術を作りたい LOD技術普及の ためのコンテスト (2011~) シビックテック (市民×IT)活動 セマンティックウェブとオントロジー(SWO)研究会 の特別企画(2011~)
  3. 3. LODチャレンジ2019開催概要 • 応募期間:2019年6月1日 ~ 2019年10月1日 • 応募部門: • 公式サイト http://lodc.jp • 他コンテストとの重複応募もOK! 2019年内に受賞式を開催!
  4. 4. 推論チャレンジとは? シャーロック・ホームズのような “推理”(推論)ができるAIシステムの開発 を目指した技術コンテスト チャレンジのねらい ➢説明可能性(解釈可能性)を有するAI技術に関する最新技 術の促進・共有と,その分析・評価,体系化を行う. チャレンジタスク ➢推理小説のナレッジグラフ (ホームズの短編小説) を対象に, ホームズと同じ結論に辿り着き,その理由を説明する. 4 応募締切 2019年10月末 公式サイト http://challenge.knowledge-graph.jp LODとして公開
  5. 5. はじめに,質問 ◼ 「Linked Data」 「LOD(Linked Open Data)」 という言葉を聞いたことがある人? ◼ SPARQLについて聞いたことがある人? ◼ Webページを作ったことがある人?
  6. 6. 講演概要 ◼ Linked Open Data(LOD)の技術紹介 ◼ LODの公開事例 ◼ LODの使い方 覚えていただきたいキーワード Linked Open Data(LOD) Linked Data SPARQL Wikidata DBpedia
  7. 7. Linked Open Data (LOD) Linked Open Data =Linked Data + Open Data(オープンデータ) =Linked Dataとして公開されたOpen Data
  8. 8. オープンデータとは ◼ オープンデータとは ◼ 誰でも自由に使える形で公開されているデータ ◼ オープンデータの定義(Open Definition) ◼ “Open data and content can be freely used, modified, and shared by anyone for any purpose” (http://opendefinition.org/) ◼ オープンデータでない例 ◼ 改変や再配布が禁止されている ◼ 利用者を限定 例)学術機関のみ,個人利用不可 ◼ 利用目的を限定 例)商用利用不可,コンテスト応募目的のみ
  9. 9. オープンデータの2つの観点 ◼ ライセンス(cf.クリエイティブコモンズ) ◼ 使用目的を限定せず(例:商用も可),再配布,改変も可 ◼ 「作成者のクレジットの表示」の義務付け程度の制限はOK →“まじめな人”(※)が,安心して使える =より多くの人の利用が見込まれる (※悪いことをする人は,ライセンスを気にせず勝手に使う) ◼ 機械可読な形式 ◼ プログラムで処理しやすいフォーマットが望まれる →“使いたい人”が,簡単に使える =低コストで多くのアプリ(活用事例)が作れる ◼ LOD(Linked Open Data)は,「オープンデータの5つの段階」 で「5つ星」と言われている公開方法
  10. 10. 5 ★ オープンデータ http://5stardata.info/ より オープン ライセンス (形式問わず) 機械可読な フォーマット オープンな フォーマット
  11. 11. 5★オープンデータにおけるLOD ◼ ★★★★ (RDF) 物事を示すのにURL(IRI)を使いましょう,そうすることで 他の人々があなたのデータにリンクすることができます ◼ ★★★★★ (LOD) あなたのデータのコンテキストを提供するために 他のデータへリンクしましょう →LOD(Linked Open Data) =Web上で相互にリンクされたOpen Data ※リンクする際には「Webの仕組み」を利用する ◼ データ(物事)を示すのにURL(正確にはIRI)を用いる ◼ データ間を(名前付き)Hyper-linkでリンクする http://5stardata.info/ja/ より引用
  12. 12. Linked Data (LD) Linked Data =Webの仕組みを用いて相互に“リンクされた” データ
  13. 13. Linked Data(2007頃-) ◼ Linked Data:Web上のデータを,つなぐ(linkする)ことで,新しい価値 を生み出そうとする取り組み.Webの創始者Tim Berners-Lee氏が提唱 ※ Linked Open Data(LOD):オープンな形で公開されたLinked Data http://linkeddata.org/ “Webの仕組み”に基づいてデータを公開することで, Web上に公開された膨大なデータを 統合した1つの知識ベースとして利用可能にする.
  14. 14. Webの仕組み ◼ URLを指定することで,Webページにアクセス ◼ 例)http://www.osakac.ac.jp 「大阪電気通信大学」 のページ ◼ URLは,世界中“すべて”のWebページの場所(ID) を一意に特定できる仕組み ◼ ハイパーリンクにより,Webページを“つなげる” ◼ リンク先のURLを指定することで,好きなWebページ と自由に“リンク”できる ◼ リンクを辿って,様々な情報にたどり着ける ◼ リンクを解析による様々なビジネス ◼ 例)Googleなどの検索エンジン
  15. 15. Webの仕組み→Linked Data ◼ URLを指定することで,Webページにアクセス ◼ 例) http://www.osakac.ac.jp 「大阪電気通信大学」の ページ ◼ URLは,世界中“すべて”のWebページの場所(ID) を一意に特定できる仕組み ◼ ハイパーリンクにより,Webページを“つなげる” ◼ リンク先のURLを指定することで,好きなWebページ と自由に“リンク”できる ◼ リンクを辿って,様々な情報にたどり着ける ◼ リンクを解析による様々なビジネス ◼ 例)Googleなどの検索エンジン データ データ Linked Data Webと同じ仕組みでデータを“公開”し, 相互に“つなぐ”(リンクする) URI・IRI データ(モノ・コト) データ(モノ・コト)
  16. 16. Linked Dataの表現例 日本 大阪電気 通信大学 国 1924 設立 寝屋川市 129613133 (VIAF) 国立国会図書館典拠ID 位置する行政区 http://www.wikidata.org/entity/Q7105556 というIRIから得られ る情報の一部(Wikidataより) 00370288 (Web NDL Authorities) skos:exactMatch 大阪電気通信大学標目 リソース: IRIで表される事物 プロパティ: リソース間(もしくはリ ソースとリテラル間)の 関係を表す リテラル :文字列 主語 述語 目的語 トリプル(3つ組み) ①RDFは「トリプルの組み合わせ」 で表される ②目的語が他のリソースのとき,トリプル を辿って更なる情報が得られる
  17. 17. Linked Data (RDF)の表現例 http://www.wikidata. org/entity/Q17 http://www.wikidata. org/entity/Q7105556 https://www.wikidata.org/entry/P17 1924 https://www.wikidata.org/entry/P571 http://www.wikidata. org/entity/Q389633 http://viaf.org/ viaf/129613133 https://www.wikidata.org/entry/P349 https://www.wikidata.org/entry/P131 http://id.ndl.go.jp/auth /ndlna/00296951 http://www.w3.org/2004/02/skos/core#exactMatch 大阪電気通信大学 http://www.w3.org/2008/05/skos-xl#prefLabel すべてのリソースおよび プロパティはIRI用いて 表される
  18. 18. Linked Data (RDF)の表現例 http://www.wikidata. org/entity/Q17 http://www.wikidata. org/entity/Q7105556 https://www.wikidata.org/entry/P17 1924 https://www.wikidata.org/entry/P571 http://www.wikidata. org/entity/Q389633 http://viaf.org/ viaf/129613133 https://www.wikidata.org/entry/P349 https://www.wikidata.org/entry/P131 http://id.ndl.go.jp/auth /ndlna/00296951 http://www.w3.org/2004/02/skos/core#exactMatch 大阪電気通信大学 http://www.w3.org/2008/05/skos-xl#prefLabel すべてのリソースおよび プロパティはIRI用いて 表される 部分的に同じよ うなIRIが多数, 用いられる wd: wdt: wdt: wdt: wdt: wd: PREFIX(接頭語) で置き換える wd:
  19. 19. PREFIX:IRIの省略表現 wd:Q17 wd:Q7105556 wdt:P17 1924 wdt:P571 wd:Q389633 http://viaf.org/ viaf/129613133 wdt:P349 wdt:P131 http://id.ndl.go.jp/auth /ndlna/00296951 http://www.w3.org/2004/02/skos/core#exactMatch 大阪電気通信大学 http://www.w3.org/2008/05/skos-xl#prefLabel 部分的に同じよ うなIRIが多数, 用いられる PREFIX(接頭語) で置き換える
  20. 20. LOD/Linked Dataの使い方 ◼ Linked Dataの公開・利用方法 ◼ 具体例) Wikidataを例として
  21. 21. Linked Dataの公開・利用法 ◼ 参照解決可能なhttp IRIs(URL,URI)を用いた公開 ◼ IRI(URI, URI)でデータにアクセスが可能 ◼ 通常のWebページと同様に,データのURIを用いてhttp: /https:でアクセスし,「つながり」を辿ることが出来る =システムによる基本的な処理(リンク解析等)が可能 ◼ SPARQLエンドポイントの公開 ◼ RDF用のクエリ言語SPARQLにより検索可能なAPIを公開 ◼ クエリによるデータ検索・抽出が可能 ◼ RDFファイルのダンプの公開 ◼ 全データをダウンロードできる形で公開 ◼ ダウロードしたファイルをRDFパーサー,RDF-DBなどの ツールを用いて処理可能 ※どの公開方法が提供されているかデータセットに依る
  22. 22. LODの公開例: Wikidata(ウィキデータ) • ウィキメディア財団が運営する Wikipediaの「データ版」 • Wikipediaと同じようにデータを コミュニティで編集,公開できる • Wikipediaの「多言語リソース」 の相互リンクのために整備 • SPARQLエンドポイントや各種検 索ツールなども提供 http://wikidata.org/
  23. 23. ウィキデータの特徴 ◼ ウィキデータは、自由・共同作業・多言語・二次情報を 特徴とする、構造化データのデータベースです。 ◼ 収集された構造化データは、ウィキペディア、ウィキメ ディア・コモンズや、その他のウィキメディアのプロジェ クトで活用されているほか、世界中の誰でも利用できま す。 https://www.wikidata.org/wiki/Wikidata:Introduction/ja より ウィキデータに登録したデータ(知識)は, そのまま,すぐに,オープンデータとして, 「全世界」に公開される!
  24. 24. WikipediaからWikidataへ Wikipediaの各記事から 対応する Wikidata項目へのリンク
  25. 25. Wikidataのデータ例(1/2) Wikidataにおいて 「大阪電気通信大学(Q7105556)」のデータ にWebブラウザでアクセスした例 http://www.wikidata.org/entity/Q7105556 (※うまく表示されない場合は,アドレスをコピーしてブラウザにペーストする) さまざまな言語での 「ラベル」,「概要説明」,「別名」
  26. 26. Wikidataのデータ例(2/2) 述 語 (プ ロ パ テ ィ ) 目 的 語 (オ ブ ジ ェ ク ト ) 他のリソース へのリンク
  27. 27. http IRIによるデータ取得 ◼ WikidataにおけるデータのIRI ◼ http://www.wikidata.org/entity/ +ID で表される ◼ Q***** →リソース(エンティティ)のID ◼ P***** →プロパティ(関係)のID ◼ データ形式を指定したい場合は,IRIの末尾に拡張子 を付けてアクセス (HTTPリクエストのACCEPTヘッダーで指定) ◼ text/html HTML形式 ◼ application/rdf+xml RDF/XML形式 ◼ text/turtle スキーマTurtle形式 ◼ application/json JSON形式 ◼ application/ld+json JSON-LD形式
  28. 28. IRIによるLODのデータ取得例 ◼ WikidataにおけるPythonのデータ ◼ HTML ◼ https://www.wikidata.org/wiki/Q28865 ◼ RDF/XML ◼ http://www.wikidata.org/entity/Q28865.rdf ◼ Turtle ◼ http://www.wikidata.org/entity/Q28865.ttl ◼ JSON ◼ http://www.wikidata.org/entity/Q28865.json ◼ JSON-LD ◼ http://www.wikidata.org/entity/Q28865.jsonld
  29. 29. ウィキデータの検索サービス :SPARQLエンドポイント(API) ここに,クエリを入れる ・ブラウザからのアクセス https://query.wikidata.org/ ・プログラムからのアクセス https://query.wikidata.org/sparql クエリ結果の表示
  30. 30. SPARQLによるRDFの検索 ◼ SPARQL ◼ RDFデータに対するクエリ言語 ◼ 「指定したグラフ構造」に一致するトリプルを検索する ◼ 最も基本的な検索 select ?s ?p ?o where { ?s ?p ?o . } LIMIT 100 ↑取得する数の制限 ←検索するグラフのパターン ←返す要素 このパターンを変 えることで,欲しい データを取得する 「.」(ピリオド) を忘れない ?x(x:任意の文字列)は変数を表す
  31. 31. WikidataのSPARQLサンプル ◼ 例)大阪市内で「位置座標」を持つデータ一覧 ◼ サンプルクエリ集 ◼ https://www.wikidata.org/wiki/Wikidata:SPARQL_q uery_service/queries/examples SELECT DISTINCT ?s ?label ?point WHERE{ ?s rdfs:label ?label ; wdt:P131 wd:Q35765 ; wdt:P625 ?point. FILTER(lang(?label)="ja" ) } 【実行結果】 位置する 行政区画 位置座標 大阪市
  32. 32. SPARQLクエリの サンプルいろいろ
  33. 33. DBpedia Japaneseの検索例 ◼ 「各都道府県で生まれた政治家の数」を調べる PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/> PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:> select distinct ?pref (count(?s) AS ?c) where { ?pref rdf:type dbpedia-owl:Place. ?pref dbpedia-owl:wikiPageWikiLink category-ja:日本の都道府県. ?s rdf:type dbpedia-owl:Politician; dbpedia-owl:birthPlace ?pref. }GROUP BY ?pref ORDER BY ?c (解説)Qiita:DBpediaを使った都道府県別ランキング http://qiita.com/koujikozaki/items/439fa7ce3e28b738fe10 SPARQLエンドポイント http://ja.dbpedia.org/sparql
  34. 34. DBpedia Japaneseの検索例 ◼ 「各都道府県で生まれた芸人の数」を調べる PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/> PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:> select distinct ?pref (count(?s) AS ?c) where { ?pref rdf:type dbpedia-owl:Place. ?pref dbpedia-owl:wikiPageWikiLink category-ja:日本の都道府県. ?s rdf:type dbpedia-owl:Comedian; dbpedia-owl:birthPlace ?pref. }GROUP BY ?pref ORDER BY ?c ここを, Politician→Comedian に変えるだけ!
  35. 35. Wikidataを用いたランキング ◼ 「日本の政治家の出身大学」ランキング →実行結果 select ?univ ?univl (count(?s) As ?c) where{ ?univ wdt:P31/wdt:P279* wd:Q3918. #大学の一覧取得 ?s wdt:P27 wd:Q17; #国籍=日本 wdt:P106 wd:Q82955; #職業=政治家 wdt:P69 ?univ. #出身大学 OPTIONAL{ ?s rdfs:label ?name. FILTER(lang(?name)="ja") ?univ rdfs:label ?univl . FILTER (lang(?univl) = "ja") . } }GROUP BY ?univ ?univl ORDER BY DESC(?c) LIMIT 100 政治家の出身大学ランキング https://qiita.com/koujikozaki/it ems/a049e2ac1051e0e43be6
  36. 36. Wikidataを用いたランキング ◼ 「日本の総理大臣の出身大学」ランキング →実行結果 select ?univ ?univl (count(?s) As ?c) where{ ?univ wdt:P31/wdt:P279* wd:Q3918. #大学の一覧取得 ?s wdt:P27 wd:Q17; #国籍=日本 wdt:P106 wd:Q82955; #職業=政治家 wdt:P39 wd:Q274948; #公職=内閣総理大臣 wdt:P69 ?univ. #出身大学 OPTIONAL{ ?s rdfs:label ?name. FILTER(lang(?name)="ja") ?univ rdfs:label ?univl . FILTER (lang(?univl) = "ja") . } }GROUP BY ?univ ?univl ORDER BY DESC(?c) LIMIT 100 政治家の出身大学ランキング https://qiita.com/koujikozaki/it ems/a049e2ac1051e0e43be6 この1行を 追加する
  37. 37. WikidataのSPARQLサンプル ◼ 例)プログラム言語の一覧(ロゴ+公式HP) SELECT ?item ?itemLabel ?hp ?t ?pic WHERE { ?item wdt:P31 wd:Q9143 . ?item wdt:P154 ?pic . ?item wdt:P856 ?hp . SERVICE wikibase:label { bd:serviceParam wikibase:language "[AUTO_LANGUAGE],en" } } 【実行結果】 ロゴ画像 ホームページ 分類=プログラム言語 ラベル出力用の処理 (Wikidataの独自仕様)
  38. 38. WikidataのSPARQLサンプル ◼ Wikidataを使って鉄道会社ごとの総路線長 をランキングしてみる select ?s ?sLabel ?o where { ?s wdt:P31 wd:Q728937 . ?s wdt:P17 wd:Q17. ?s wdt:P2043 ?o. SERVICE wikibase:label { bd:serviceParam wikibase:language "[AUTO_LANGUAGE],ja". } }order by desc(?o) 【実行結果】 国=日本 全長 分類=鉄道路線 全長で降順にソート
  39. 39. WikidataのSPARQLサンプル ◼ 鉄道運営会社ごとの路線全長の合計 select (SUM(?o) as ?total) ?op ?opLabel where { ?s wdt:P31 wd:Q728937 . ?s wdt:P17 wd:Q17. ?s wdt:P2043 ?o. ?s wdt:P137 ?op. SERVICE wikibase:label { bd:serviceParam wikibase:language "[AUTO_LANGUAGE],ja". } }GROUP BY ?op ?opLabel order by desc(?total) 【実行結果】 運営者 運営者で集約 全長の合計
  40. 40. SPARQLクエリ結果の 可視化例(Wikidata利用)
  41. 41. ウィキデータの可視化ツール例 :Reasonator https://tools.wmflabs.org/reasonator/ ウィキデータのID を指定するだけで, データの種類に応 じた可視化が可能 ・人物 ・場所 ・生物 ・カレンダー …など 表示例 https://tools.wmflabs.org/reasonator/?q=Q7105556 表示例(Python) https://tools.wmflabs.org/reasonator/?q=Q28865
  42. 42. ウィキデータの検索結果例 Map表示も可能
  43. 43. ウィキデータの可視化ツール例 :Scholia ◼ ウィキデータから,様々な学術情報を収集して可視化 https://tools.wmflabs.org/scholia/
  44. 44. LODの公開例 とりあえず, 使ってみると楽しそうなLOD
  45. 45. LOD公開の世界的なひろがり ~LODクラウド~ 2007/5/1 2007/10/82008/9/182009/7/14 2010/9/222011/9/19時点 Linking Open Data cloud diagram 2014, by Max Schmachtenberg, Christian Bizer, Anja Jentzsch and Richard Cyganiak. http://lod-cloud.net/ 1つの丸が個別に公開 されたDBを表す. 2014/08/30時点 DBpedia
  46. 46. LOD公開の世界的なひろがり ~LODクラウド~ 2018-05-30 (1,186データセット) http://lod-cloud.net/
  47. 47. LODの世界的なひろがり Linking Open Data cloud diagram,http://lod-cloud.net/ 2007/5 12データセット 2014/8 2009/7 2017/2 1,139データセット LODの公開は, この10年で 急速に広まっている
  48. 48. DBpedia/Wikidata in LODクラウド DBpedia Wikidata
  49. 49. 日本語で使えるLODの例 法人インフォ(経済産業省) eStat 統計LOD国立国会図書館LOD DBpedia Wikidata JapanSearch
  50. 50. DBpedia Wikipediaの各記事のインフォボックスの情報を抽出して自動 生成されるLOD 様々なデータをつなぐLODのハブ的な存在となっている. ※英語版と日本語版で,データ構造の違いがあるので注意 http://dbpedia.org/ 日本語版のDBPediaは http://jp.dbpedia.org/ インフォボックスの例
  51. 51. DBpediaのデータ例(大阪市) すべてのWikipediaの記事が http://ja.dbpedia.org/resource/大阪市 のようなURL(IRI)でデータ化されている 生データの取得 検索API プログラムからの データ取得も可能
  52. 52. 例)LODからの事実情報の取得 ◼ DBpediaを百科事典的な “知識”(事実情報)を取得する ための汎用情報源として利用 医療分野での利用例 http://lod.hozo.jp/DiseaseChainViewer/ 生物分野での利用例 http://biomimetics.hozo.jp/ 多言語対応も可能!
  53. 53. LOD/Linked Dataの例 Japan Search https://jpsearch.go.jp/ ・国内デジタルアーカイブの統合検索サービス ・SPARQLエンドポイントあり
  54. 54. LOD/Linked Dataの例 統計LOD http://data.e-stat.go.jp/lodw/ ・日本政府の統計データのLOD ・SPARQLエンドポイントあり
  55. 55. 統計LODの使用例 ザ・地域統計パワーバトル ◼ LODチャレンジ2018 最優秀賞(林 正洋) ◼ https://www.mirko.jp/townpower/
  56. 56. LOD/Linked Dataの例 法人インフォ https://hojin-info.go.jp/ ・国内企業情報がSPARQLで取得可能
  57. 57. LOD/Linked Dataの例 Web NDL Authorities https://id.ndl.go.jp/auth/ndla/ ・SPARQLエンドポイントあり ・参照解決可能 .rdf .ttl .json
  58. 58. Linked Data/LODの利用技術
  59. 59. LOD(RDF)を扱うための 技術・ツール ◼ RDF用のライブラリ ◼ https://github.com/KnowledgeGraphJapan/sparql- library-examples にプログラム言語でのサンプルあり ◼ Pythonを使うなら,SPARQLWrapper(SPARQL Endpoint interface to Python)がおススメ ◼ https://rdflib.github.io/sparqlwrapper/ ◼ Javaを使うなら,Apache Jenaがおススメ ◼ https://rdflib.github.io/sparqlwrapper/ ◼ RDFファイルをDBに格納して使用するには ◼ FusekiやVirtuosoなどのRDF-DBを使用 ◼ チュートリアル資料 ◼ Jena,Fusekiの簡単な使用方法,SPARQLクエリの書き方な どhttps://github.com/KnowledgeGraphJapan/LODws2nd
  60. 60. まとめ: LODの基本的な使い方 ◼ LOD(Linked Open Data) ◼ Linked Dataとして公開されたOpen Data ◼ Linked Dataは,Web上で公開されたデータを 「つなぐ」仕組み ◼ URL(IRI)を用いたグローバルに一意なデータの識別 ◼ データ間の“リンク” 既に多くのデータがLODとして公開されている! ◼ Wikidata, DBpedia, JapanSearch,など ◼ Linked Data/LODを使うには ◼ IRI(URL,URI)で,直接データを所得 ◼ SPARQLクエリで検索 ◼ Pythonをはじめ,各種プログラム言語のライブラリあり
  61. 61. 参考資料:LOD全般 ◼ Linked Data/Knowledge Graphチュート リアル(※今後,情報を徐々に充実させます) ◼ http://knowledge-graph.jp/ ◼ LODチャレンジ ◼ http://lodc.jp ◼ 過去の受賞作品を見ると,LOD活用のヒントに ◼ LODC2019への応募も受付中!(10/1まで) ◼ ナレッジグラフ推論チャレンジ ◼ https://challenge.knowledge-graph.jp/
  62. 62. 参考資料:SPARQLについて ◼ SPARQL仕様(W3Cのドキュメント) ◼ SPARQL 1.1 Query Language https://www.w3.org/TR/sparql11-query/ ◼ SPARQLの解説本 ◼ オープンデータ時代の標準Web API SPARQL http://sparqlbook.jp/ ◼ SPARQL入門スライド(by古崎) ◼ DBpedia Japaneseを例にした解説 https://www.slideshare.net/KoujiKozaki/4lod ◼ 解説記事 ◼ Wikidataを使って鉄道会社ごとの総路線長をランキングしてみる https://qiita.com/RK-miha/items/6d94f425871c4e9f5f73 ◼ DBpediaを使った都道府県別ランキング http://bit.ly/2oDPl0Q ◼ Wikidataを使った日本の政治家の出身大学ランキング http://bit.ly/2PBt8fn http://sparqlbook.jp/より
  63. 63. 参考資料:学術系 ◼ 人工知能学会セマンティックウェブとオントロジー(SWO)研究会 ◼ http://www.sigswo.org/ 研究会資料公開あり ◼ ISWCサーベイ ◼ 分野のトップカンファレンスISWCの発表論文をSWO研究会有志でサーベイし, 日本語スライドにまとめた資料 ◼ ISWC2018サーベイ https://github.com/sigswo/files/raw/master/SIG-SWO-047-ISWC2018- Survey.pdf ◼ ISWC2017サーベイ http://id.nii.ac.jp/1004/00009109/ ◼ ISWC2016サーベイ http://id.nii.ac.jp/1004/00008619/ ◼ 主な関連国際会議 ◼ International Semantic Web Conference (ISWC) http://swsa.semanticweb.org/content/international-semantic-web- conference-iswc ◼ ESWC(Extended Semantic Web Conference) ◼ The Conferences on Formal Ontology in Information Systems (FOIS) ◼ KEOD(International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management) http://www.keod.ic3k.org/websites.aspx

×