Pythonではじめるロケーションデータ解析
•
25 likes•6,273 views
PyDataTokyoでの発表資料をアップしました。 http://pydatatokyo.connpass.com/ スマートフォンやセンサーデバイスの普及に伴い、「ロケーション・インテリジェンス」と言われるように、位置情報データの解析が盛んになってきています。本発表では、地図オタクが位置情報データを扱う上でぶつかる特有の問題やPythonライブラリを活用した対処方法を紹介します。位置情報データにまつわる解析事例も交えつつ、地図の世界に誘います。 参考） https://www.youtube.com/watch?v=2sXKpj9Z91k https://www.youtube.com/watch?v=dnPIwmlphII
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Pythonではじめるロケーションデータ解析
Similar to Pythonではじめるロケーションデータ解析 (20)
More from Hiroaki Sengoku
More from Hiroaki Sengoku (15)
Pythonではじめるロケーションデータ解析
- 2. ⾃⼰紹介 22 株式会社マイクロベース CEO 博⼠号（環境学） 専⾨：GIS, リモートセンシング, 統計学 趣味：simcity, ロードバイク 仙⽯裕明 @xianshiyuming
- 5. 株式会社マイクロベース 代表取締役CEO 仙⽯裕明 取締役COO 富川蓉⼦ あらゆる情報を地図上に集約し、 「すぐに⾒え る、すぐに分かる」を実現する 都市の将来成⻑ポテンシャルをシミュレーションす るための 分析プラットフォーム・ミクロな地理空 間情報データを開発 2013年３⽉、代表の仙⽯が、東京⼤学⼤学院博⼠ 課程在学中に設⽴。2014年12⽉株式会社化。 Real版SimCity© 2014 Electronic Arts Inc.を⽬指し、あら ゆる情報を地図上に集約可能なプラットフォームの 開発を始める。 会社概要 5 会社名 役員 ミッショ ン 事業概要 沿⾰ ⽇経ビッグデータに掲載 http://business.nikkeibp.co.jp/atclbdt/15/258673/092800035/
- 8. AGENDA 88 • ロケーションデータとは • めっちゃ助かるPythonライブラリ • ロケーションデータ解析事例 • 今後どうなっていく？
- 9. AGENDA 99 • ロケーションデータとは • めっちゃ助かるPythonライブラリ • ロケーションデータ解析事例 • 今後どうなっていく？
- 11. ロケーションデータの種類 ロケーションデータは⼤きく２種類あります. • ラスター（raster）形式 例）JPEG, PNG, TIFF • ベクター（vector）形式 例）シェープファイル（.shp） 例えば「川」と「橋」を表現すると… 11 ベクター形式 始点と終点と それをつなぐ 線として表現 される ラスター形式 ⾊の付いたド ット（点）の 集まりで表現 される
- 12. NAME AREA PERIMETER 0 A棟 18352 644 1 B棟 22496 756 2 中庭 22050 602 3 ⽣協購買 7548 352 4 ポスト NA NA 5 道路 NA NA 中庭 A棟 ⽣協購買 B棟 ・ポスト ポイントデータ（点） 例）住所情報, スマートフォンのGPSデータ，店舗データ ラインデータ（線） 例）道路データ，鉄道データ，河川データ ポリゴンデータ（⾯） 例）市区町村の形状データ，建物データ 【3種類の地物（フィーチャ）】 12 ロケーションデータの構造
- 13. 何が⼤変か？ 1. データの扱いが特殊 2. 加⼯が⾯倒 3. データがなかなか⼿に⼊らない、⾼い 13
- 14. 何が⼤変か？ 1. データの扱いが特殊 2. 加⼯が⾯倒 3. データがなかなか⼿に⼊らない、⾼い 14
- 15. 地球は丸い！！ 1515
- 20. ※詳細は国⼟地理院のウェブサイト（http://www.gsi.go.jp/LAW/G2000-g2000.htm）をご覧ください！ 引⽤： 国⼟地理院 http://vldb.gsi.go.jp/sokuchi/datum/tokyodatum.html • 世界測地系1984 WGS84 ⽶国が構築・維持している世界測地系で，GPSによるナビゲ－ションの位 置表⽰の基準として⽤いられています．原点は地球の中⼼． • ⽇本測地系2000 JGD2000 2002年の改正測量法にもとづき，準拠楕円体をWGS84楕円体とほぼ同⼀ のGRS80楕円体にして定められた座標系．原点はWGS84と同じく地球の 中⼼．世界測地系，新⽇本測地系，⽇本測地系2000など，さまざまな名前 で呼ばれています． • 旧⽇本測地系 Tokyo 明治新政府が全国に整備した三⾓点の測量（三⾓測量）によって定められ た座標系．準拠楕円体はBessel楕円体，原点は東京のロシア⼤使館の敷地 裏⼿（旧東京天⽂台）にあります．JGD2000と同様に，⽇本測地系，旧⽇ 本測地系，旧測地系など，複数の呼び名があります． 今⽇，⽇本でよく使われる地理座標系には以下の3種類があります． 座標系の種類 20
- 21. 何が⼤変か？ 1. データの扱いが特殊 2. 加⼯が⾯倒 3. データがなかなか⼿に⼊らない、⾼い 21
- 22. • 会員情報の住所 • ニュース記事の 地理的キーワー ド etc データ解析するまでのプロセスが⻑い GO！ 緯度経度や メートル等の 座標になって いる！ 22
- 23. 住所ジオコーディングとは？ GIS上取り込みたいデータがもつ住所情報をもとにして， 緯度経度などの定量的な位置情報（座標値）を付与することを 住所ジオコーディング（address geocoding）といいます． 施設名 住所 新宿アルタ 東京都新宿区新宿3丁目24-3 札幌市時計台 北海道札幌市中央区 北1条西2丁目1-1 東大寺 奈良県奈良市雑司町406-1 首里城 沖縄県那覇市首里当蔵町3丁目1 施設名 住所 経度 経度 新宿アルタ 東京都新宿区新宿3丁目24-3 139.7012913 35.6926208 札幌市時計台 北海道札幌市中央区 北1条西2丁目1-1 141.3540735 43.0631485 東大寺 奈良県奈良市雑司町406-1 135.8392526 34.6869178 首里城 沖縄県那覇市首里当蔵町3丁目1 127.7179785 26.2172938 XY情報をもとに GIS上にプロット X Y 23
- 24. 何が⼤変か？ 1. データの扱いが特殊 2. 加⼯が⾯倒 3. データがなかなか⼿に⼊らない、⾼い
- 27. AGENDA 2727 • ロケーションデータとは • めっちゃ助かるPythonライブラリ • ロケーションデータ解析事例 • 今後どうなっていく？
- 29. Pyproj ⼿軽で簡単 29
- 30. FOSS4G 30
- 35. AGENDA 3535 • ロケーションデータとは • めっちゃ助かるPythonライブラリ • ロケーションデータ解析事例 • 今後どうなっていく？
- 36. 点配置パターンなど空間に起こる事象を分 析するための統計的方法である。生態学（ ecology）、森林学（forestry）、天文学 、地理学（geography）等で使われる。 空間統計学 36
- 39. 空間的⾃⼰相関 モランI統計量 Moran's I ( -1.0 < I < 1.0) 空間的な連続性を定義するために空間的位置関係の 隣接性から地区間の連結性⾏列w（空間重み付け⾏ 列）を作成し、隣接地区間で属性の共変動関係を定 義 Xは属性値 Anselin (1988), LeSage and Pace (2009) 39
- 40. 空間的⾃⼰相関 install.packages("spdep") library(spdep) data(oldcol) crime <- COL.OLD$CRIME plot(COL.nb, coords = cbind(COL.OLD$X, COL.OLD$Y)) col.W <- nb2listw(COL.nb, style = "W") str(moran(crime, col.W, length(COL.nb), Szero(col.W))) moran(crime, col.W, length(COL.nb), Szero(col.W)) moran.test(crime, nb2listw(COL.nb, style = "W")) Rの例（オハイオ州） http://web.sfc.keio.ac.jp/~maunz/wiki/index.php?asakura_sp_chap05 より詳しくは、慶應義塾⼤学古⾕准教授のページが参考になります 40
- 42. gdal_grid -zfield variable -of GTiff input_path output_path （おまけ）単純なヒートマップをつくりたいだけなら GDAL(Geospatial Data Abstraction Library)を⼊れるとら っくらく〜！！ GDALはラスターデータのメタデータの検索（gdalinfo）や 、データフォーマットの変換（gdal_gransform, gdalwarp ）などが可能なPythonライブラリ 42
- 45. 空間回帰モデルにより推定 45
- 47. 通⾏量推計 47
- 48. 48
- 49. 交通量推計 49
- 50. 50推計歩⾏者通⾏量（⼈）
- 53. ダウンスケーリング Hessami, M., Quarda, T.B.M.J., Gachon, P., St-Hailaire, A., Selva, F. and Bobee, B., “Evaluation of statistical downscaling method over several regions of eastern Canada”, 57th Canadian water resources association annual congress, 2004. 気象分野において、将来の気候変動をモデル化した GCMs(Global Climate Models)によって作成された データを精細化 ローカルに観測された気象デ ータからモデルを作成し、 GCMsに適⽤ http://epscorspo.nevada.edu/nsf/climate1/climate10.htmlhttps://www.ral.ucar.edu/projects/conus-downscaling 53
- 54. 擬似的に居住属性を生成 ⼈⼝を対象としたダウンスケーリング 町丁目単位 500mメッシュ単位 住居と世帯の関係を示す延床面積別 一般世帯数や世帯の家族類型別世帯数 Gallego J., Downscaling population density in the European Union with a land cover map and a point survey, JRC-Ispra. ローカルスケールで取得可能 なデータ 54
- 55. 第8表 住宅の建て方（7区分）別住宅に住む主世帯数，主世帯人員及び1世帯当たり人員 −町丁・字等 平成22年国勢調査 小地域集計 （総務省統計局） 1)住居選定および居住可能世帯数の推定 町丁目単位において、建物種別世帯数が取得可能。町丁目単位において統計表と整合するように、住 居となる建物・世帯数を特定。共同住宅の階数・部屋数は建物面積・用途地域をもとにランダムフォ レストで推定後、国勢調査の世帯数に一致するように部分調整 55
- 56. 平成22年国勢調査人口等基本集計（総務省統計局） 第29表 世帯の家族類型(16区分)，住居の種類・住宅の所有の関係(3区分)，延べ面積 (14区分)別一般世帯数及び一般世帯人員(3世代世帯−特掲) − 人口20万以上の市 2)居住者人数および家族類型の推定 町丁目単位において部屋面積別世帯数が取得可能。さらに市区町村単位において、部屋面積別家族類 型が取得可能。先と同様、統計表と整合するように、住居となる建物・世帯数を特定 56
- 57. http://microgeodata.com/shop/micropupulationcensus/世帯単位のライフスタイル属性を推定 擬似的に推定された65歳以上のみで構成される世帯分布 57
- 65. AGENDA 6565 • ロケーションデータとは • めっちゃ助かるPythonライブラリ • ロケーションデータ解析事例 • 今後どうなっていく？
- 68. まとめ ロケーションデータは、 • データクレンジングが大変。オープンソースのライブラリは充 実しているが、やや専門的知識が伴う。 • 不完全なケースが多い。学問的には 補間 を行うことで、対応 してきた。完成度の高いデータを使えるようにするために 補 間 があると便利。 • スマホやセンサデバイスのように、情報取得源が劇的に増加し ているものの、まだまだ分析フレームワークが確立していない フロンティア。 • 大変だけど、がんばりましょう！！（笑） 68