Enviar búsqueda
Cargar
データサイエンス概論第一=1-1 データとは
•
Descargar como PPTX, PDF
•
14 recomendaciones
•
5,585 vistas
S
Seiichi Uchida
Seguir
九州大学大学院システム情報科学研究院「データサイエンス実践特別講座」が贈る,数理・情報系『でない』学生さんのための「データサイエンス講義
Leer menos
Leer más
Datos y análisis
Denunciar
Compartir
Denunciar
Compartir
1 de 15
Descargar ahora
Recomendados
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
Seiichi Uchida
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
Seiichi Uchida
データサイエンス概論第一=1-3 平均と分散
データサイエンス概論第一=1-3 平均と分散
Seiichi Uchida
1 データとデータ分析
1 データとデータ分析
Seiichi Uchida
相関分析と回帰分析
相関分析と回帰分析
大貴 末廣
0 データサイエンス概論まえがき
0 データサイエンス概論まえがき
Seiichi Uchida
データサイエンス概論第一=0 まえがき
データサイエンス概論第一=0 まえがき
Seiichi Uchida
データサイエンス概論第一=3-3 回帰分析
データサイエンス概論第一=3-3 回帰分析
Seiichi Uchida
Recomendados
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
Seiichi Uchida
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
Seiichi Uchida
データサイエンス概論第一=1-3 平均と分散
データサイエンス概論第一=1-3 平均と分散
Seiichi Uchida
1 データとデータ分析
1 データとデータ分析
Seiichi Uchida
相関分析と回帰分析
相関分析と回帰分析
大貴 末廣
0 データサイエンス概論まえがき
0 データサイエンス概論まえがき
Seiichi Uchida
データサイエンス概論第一=0 まえがき
データサイエンス概論第一=0 まえがき
Seiichi Uchida
データサイエンス概論第一=3-3 回帰分析
データサイエンス概論第一=3-3 回帰分析
Seiichi Uchida
13 分類とパターン認識
13 分類とパターン認識
Seiichi Uchida
データサイエンス概論第一=3-2 主成分分析と因子分析
データサイエンス概論第一=3-2 主成分分析と因子分析
Seiichi Uchida
統計分析
統計分析
大貴 末廣
データサイエンス概論第一=2-2 クラスタリング
データサイエンス概論第一=2-2 クラスタリング
Seiichi Uchida
データサイエンス概論第一=1-2 データのベクトル表現と集合
データサイエンス概論第一=1-2 データのベクトル表現と集合
Seiichi Uchida
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
Seiichi Uchida
データサイエンスことはじめ
データサイエンスことはじめ
大貴 末廣
2 データのベクトル表現と集合
2 データのベクトル表現と集合
Seiichi Uchida
主成分分析
主成分分析
大貴 末廣
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
Seiichi Uchida
データサイエンス概論第一=8 パターン認識と深層学習
データサイエンス概論第一=8 パターン認識と深層学習
Seiichi Uchida
9 可視化
9 可視化
Seiichi Uchida
画像処理基礎
画像処理基礎
大貴 末廣
12 非構造化データ解析
12 非構造化データ解析
Seiichi Uchida
データサイエンス概論第一 6 異常検出
データサイエンス概論第一 6 異常検出
Seiichi Uchida
14 データ収集とバイアス
14 データ収集とバイアス
Seiichi Uchida
Python基礎その1
Python基礎その1
大貴 末廣
Python基礎その2
Python基礎その2
大貴 末廣
5 クラスタリングと異常検出
5 クラスタリングと異常検出
Seiichi Uchida
九大_DS実践_距離とクラスタリング
九大_DS実践_距離とクラスタリング
RyomaBise1
データ解析
データ解析
Issei Kurahashi
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
Masafumi Oe
Más contenido relacionado
La actualidad más candente
13 分類とパターン認識
13 分類とパターン認識
Seiichi Uchida
データサイエンス概論第一=3-2 主成分分析と因子分析
データサイエンス概論第一=3-2 主成分分析と因子分析
Seiichi Uchida
統計分析
統計分析
大貴 末廣
データサイエンス概論第一=2-2 クラスタリング
データサイエンス概論第一=2-2 クラスタリング
Seiichi Uchida
データサイエンス概論第一=1-2 データのベクトル表現と集合
データサイエンス概論第一=1-2 データのベクトル表現と集合
Seiichi Uchida
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
Seiichi Uchida
データサイエンスことはじめ
データサイエンスことはじめ
大貴 末廣
2 データのベクトル表現と集合
2 データのベクトル表現と集合
Seiichi Uchida
主成分分析
主成分分析
大貴 末廣
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
Seiichi Uchida
データサイエンス概論第一=8 パターン認識と深層学習
データサイエンス概論第一=8 パターン認識と深層学習
Seiichi Uchida
9 可視化
9 可視化
Seiichi Uchida
画像処理基礎
画像処理基礎
大貴 末廣
12 非構造化データ解析
12 非構造化データ解析
Seiichi Uchida
データサイエンス概論第一 6 異常検出
データサイエンス概論第一 6 異常検出
Seiichi Uchida
14 データ収集とバイアス
14 データ収集とバイアス
Seiichi Uchida
Python基礎その1
Python基礎その1
大貴 末廣
Python基礎その2
Python基礎その2
大貴 末廣
5 クラスタリングと異常検出
5 クラスタリングと異常検出
Seiichi Uchida
九大_DS実践_距離とクラスタリング
九大_DS実践_距離とクラスタリング
RyomaBise1
La actualidad más candente
(20)
13 分類とパターン認識
13 分類とパターン認識
データサイエンス概論第一=3-2 主成分分析と因子分析
データサイエンス概論第一=3-2 主成分分析と因子分析
統計分析
統計分析
データサイエンス概論第一=2-2 クラスタリング
データサイエンス概論第一=2-2 クラスタリング
データサイエンス概論第一=1-2 データのベクトル表現と集合
データサイエンス概論第一=1-2 データのベクトル表現と集合
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンスことはじめ
データサイエンスことはじめ
2 データのベクトル表現と集合
2 データのベクトル表現と集合
主成分分析
主成分分析
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一=8 パターン認識と深層学習
データサイエンス概論第一=8 パターン認識と深層学習
9 可視化
9 可視化
画像処理基礎
画像処理基礎
12 非構造化データ解析
12 非構造化データ解析
データサイエンス概論第一 6 異常検出
データサイエンス概論第一 6 異常検出
14 データ収集とバイアス
14 データ収集とバイアス
Python基礎その1
Python基礎その1
Python基礎その2
Python基礎その2
5 クラスタリングと異常検出
5 クラスタリングと異常検出
九大_DS実践_距離とクラスタリング
九大_DS実践_距離とクラスタリング
Similar a データサイエンス概論第一=1-1 データとは
データ解析
データ解析
Issei Kurahashi
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
Masafumi Oe
JPA2023_NetworkTutorial_Part1.pdf
JPA2023_NetworkTutorial_Part1.pdf
Jun Kashihara
内容的妥当性,構造的妥当性と仮説検定の評価
内容的妥当性,構造的妥当性と仮説検定の評価
Yoshitake Takebayashi
WI2研究会 Vol.10発表資料20170708
WI2研究会 Vol.10発表資料20170708
Yusuke Yamamoto
経済学のための実践的データ分析 3.データの可用性とプライバシー
経済学のための実践的データ分析 3.データの可用性とプライバシー
Yasushi Hara
確率統計-機械学習その前に
確率統計-機械学習その前に
Hidekatsu Izuno
相互情報量.pptx
相互情報量.pptx
Tanaka Hayato
2016年11月19日 AITC女子会 データ分析勉強会第6回「Rを使ったデータ分析の基礎(入門編)」
2016年11月19日 AITC女子会 データ分析勉強会第6回「Rを使ったデータ分析の基礎(入門編)」
aitc_jp
情報統計力学のすすめ
情報統計力学のすすめ
Naoki Hayashi
セッション「But Maybe All You Need Is Something to Trust」の紹介
セッション「But Maybe All You Need Is Something to Trust」の紹介
Akira Kanaoka
2016年12月18日AITC女子会 データ分析勉強会第7回「Rを使ったデータ分析の基礎・分析手法について知る」
2016年12月18日AITC女子会 データ分析勉強会第7回「Rを使ったデータ分析の基礎・分析手法について知る」
aitc_jp
マトリックス・データ解析法(主成分分析)
マトリックス・データ解析法(主成分分析)
博行 門眞
医療ビッグデータ勉強会プレゼン公開版
医療ビッグデータ勉強会プレゼン公開版
mamoruichikawa
tut_pfi_2012
tut_pfi_2012
Preferred Networks
[JAWS2012]CRFを用いた メディア情報の抽出とLinked Data化 ~ ソーシャルメディアとマスメディアの比較事例 ~
[JAWS2012]CRFを用いた メディア情報の抽出とLinked Data化 ~ ソーシャルメディアとマスメディアの比較事例 ~
Kenji Koshikawa
医療情報の標準化手法について
医療情報の標準化手法について
Ehime Univ.
Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semanti...
Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semanti...
MasayukiKomai
DS Exercise Course 5
DS Exercise Course 5
大貴 末廣
学術情報流通のための識別子とメタデータDBを対象とした融合研究シーズ探索 - 超高層物理学分野における観測データを例として -
学術情報流通のための識別子とメタデータDBを対象とした融合研究シーズ探索 - 超高層物理学分野における観測データを例として -
National Institute of Informatics
Similar a データサイエンス概論第一=1-1 データとは
(20)
データ解析
データ解析
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
JPA2023_NetworkTutorial_Part1.pdf
JPA2023_NetworkTutorial_Part1.pdf
内容的妥当性,構造的妥当性と仮説検定の評価
内容的妥当性,構造的妥当性と仮説検定の評価
WI2研究会 Vol.10発表資料20170708
WI2研究会 Vol.10発表資料20170708
経済学のための実践的データ分析 3.データの可用性とプライバシー
経済学のための実践的データ分析 3.データの可用性とプライバシー
確率統計-機械学習その前に
確率統計-機械学習その前に
相互情報量.pptx
相互情報量.pptx
2016年11月19日 AITC女子会 データ分析勉強会第6回「Rを使ったデータ分析の基礎(入門編)」
2016年11月19日 AITC女子会 データ分析勉強会第6回「Rを使ったデータ分析の基礎(入門編)」
情報統計力学のすすめ
情報統計力学のすすめ
セッション「But Maybe All You Need Is Something to Trust」の紹介
セッション「But Maybe All You Need Is Something to Trust」の紹介
2016年12月18日AITC女子会 データ分析勉強会第7回「Rを使ったデータ分析の基礎・分析手法について知る」
2016年12月18日AITC女子会 データ分析勉強会第7回「Rを使ったデータ分析の基礎・分析手法について知る」
マトリックス・データ解析法(主成分分析)
マトリックス・データ解析法(主成分分析)
医療ビッグデータ勉強会プレゼン公開版
医療ビッグデータ勉強会プレゼン公開版
tut_pfi_2012
tut_pfi_2012
[JAWS2012]CRFを用いた メディア情報の抽出とLinked Data化 ~ ソーシャルメディアとマスメディアの比較事例 ~
[JAWS2012]CRFを用いた メディア情報の抽出とLinked Data化 ~ ソーシャルメディアとマスメディアの比較事例 ~
医療情報の標準化手法について
医療情報の標準化手法について
Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semanti...
Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semanti...
DS Exercise Course 5
DS Exercise Course 5
学術情報流通のための識別子とメタデータDBを対象とした融合研究シーズ探索 - 超高層物理学分野における観測データを例として -
学術情報流通のための識別子とメタデータDBを対象とした融合研究シーズ探索 - 超高層物理学分野における観測データを例として -
Más de Seiichi Uchida
15 人工知能入門
15 人工知能入門
Seiichi Uchida
10 確率と確率分布
10 確率と確率分布
Seiichi Uchida
8 予測と回帰分析
8 予測と回帰分析
Seiichi Uchida
7 主成分分析
7 主成分分析
Seiichi Uchida
6 線形代数に基づくデータ解析の基礎
6 線形代数に基づくデータ解析の基礎
Seiichi Uchida
4 データ間の距離と類似度
4 データ間の距離と類似度
Seiichi Uchida
3 平均・分散・相関
3 平均・分散・相関
Seiichi Uchida
「あなたがいま読んでいるものは文字です」~画像情報学から見た文字研究のこれから
「あなたがいま読んでいるものは文字です」~画像情報学から見た文字研究のこれから
Seiichi Uchida
Machine learning for document analysis and understanding
Machine learning for document analysis and understanding
Seiichi Uchida
データサイエンス概論第一=7 画像処理
データサイエンス概論第一=7 画像処理
Seiichi Uchida
An opening talk at ICDAR2017 Future Workshop - Beyond 100%
An opening talk at ICDAR2017 Future Workshop - Beyond 100%
Seiichi Uchida
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布
Seiichi Uchida
Más de Seiichi Uchida
(12)
15 人工知能入門
15 人工知能入門
10 確率と確率分布
10 確率と確率分布
8 予測と回帰分析
8 予測と回帰分析
7 主成分分析
7 主成分分析
6 線形代数に基づくデータ解析の基礎
6 線形代数に基づくデータ解析の基礎
4 データ間の距離と類似度
4 データ間の距離と類似度
3 平均・分散・相関
3 平均・分散・相関
「あなたがいま読んでいるものは文字です」~画像情報学から見た文字研究のこれから
「あなたがいま読んでいるものは文字です」~画像情報学から見た文字研究のこれから
Machine learning for document analysis and understanding
Machine learning for document analysis and understanding
データサイエンス概論第一=7 画像処理
データサイエンス概論第一=7 画像処理
An opening talk at ICDAR2017 Future Workshop - Beyond 100%
An opening talk at ICDAR2017 Future Workshop - Beyond 100%
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=1-1 データとは
1.
1 九州大学大学院システム情報科学研究院 データサイエンス実践特別講座 データサイエンス概論第一 第1回 データとベクトル表現: 1-1 データとは システム情報科学研究院情報知能工学部門 内田誠一
2.
2 データサイエンス概論第一の内容 データとは データのベクトル表現と集合
平均と分散 データ間の距離 データ間の類似度 データのクラスタリング (グルーピング) 線形代数に基づくデータ解析の基礎 主成分分析と因子分析 回帰分析 相関・頻度・ヒストグラム 確率と確率分布 信頼区間と統計的検定 時系列データの解析 異常検出
3.
3 データとは さぁ,はじまり,はじまり
4.
44 「データ」とは? (デジタル大辞泉より) 1. 物事の推論の基礎となる事実。また、参考となる資料・ 情報。「―を集める」「確実な―」 2.
コンピューターで、プログラムを使った処理の対象となる記 号化・数字化された資料。
5.
55 データとは? 測定値 体温,体重,消費カロリー,人流
メディアデータ 画像(次スライド),動画像(ビデオ),音声 ラベルデータ 患者の病名,地点名・駅名,生物種 ネットワーク(関係データ) 空手クラブメンバーの仲良し関係 シロイヌナズナ by Alberto Salguero@Wikipedia Zachary‘s Karate Club by Cuneytgurcan @Wikipedia 伊都キャンパス内センサで獲得した人流データ
6.
66 メディアデータの代表例:画像 監視カメラ画像 文字,文書,記号,標識, ナンバープレート
顔,指紋,虹彩,耳,唇,掌の静脈 CT・MRI・X線などの医用画像 IAM face dataset CT画像@wikipedia MRI画像@wikipedia X線画像@wikipedia @wikipedia commons@flickr
7.
77 データの種類~別の角度から: 前後関係のあるデータ=「系列データ」 時々刻々と得られる系列データ(時系列データ) 動画像
行動,ジェスチャ,歩行,ゲーム操作 音声信号.対話系列 心拍数変化,呼気量変化 環境中のNOx濃度変化,気温変化 10年ごとに測定した世界人口 時間とは関係のない系列データ 文字列(文章) DNA系列 時間 姿勢(左手高さ) cgcacagtgg atcctaggcg ttactaggtc ttcaattctt gaactaattg ttttcgggtt ...
8.
8 データの種類~別の角度から: 上下左右関係のあるデータ=「空間データ」 @wikipedia ボクセルデータ 地図データ OpenStreetMap 空間分布データ 人口密度@wikipedia @wikipedia
9.
99 データの種類~別の角度から: 少数データとビッグデータ 少数データ 1研究室の実験などで得られるデータ
1回のデータ取得に時間やコストがかかる そもそも滅多に表れない現象を扱うためのデータ 何らかの事情で大部分が非公開のデータ(privacy sensitiveなデータなど) ビッグデータ 3つのV: (企業によっては「4つのV」とか「5つのV」とも) • Volume 容量 • Variety 種類 • Velocity 頻度・スピード ネット上の様々なデータ(画像やテキスト) 全体としてのデータ量は多くても,1試行だけのデータはビッグデータとは言えない
10.
10 余談:ビッグデータの「4つのV」 by IBM https://www-01.ibm.com/software/data/bigdata/images/4-Vs-of-big-data.jpg
11.
1111 フォーマルなデータの4分類 (1/3) 量的データ 比率データ • 積や除算ができる.和や差もできる.Ex.
体重.年収.長さ 間隔データ • 積や除算に意味がない.ただし和や差はできる.Ex. (華氏・摂氏で測る)温度,西暦年 質的データ 順位データ • 四則演算(加減乗除)すべて意味がない.ただし並べることはできる. • Ex. アンケート結果(5:非常によい,4:よい,3:ふつう,2:わるい,1:非常に悪い). 成績順 カテゴリデータ • 形式的に数字になっているだけ. • Ex. 「1:女性, 2:男性」 ,電話番号,背番号,バスの系統番号 「非常によい-ふつう=わるい」 とはならない 「温度が2倍」「温度70%減」 とは言わない
12.
12 フォーマルなデータの4分類 (2/3) まとめると... データの種類によっては できる計算が限られる! 測定データ 量的データ 質的データ 比率データ 間隔データ 順位データ カテゴリデータ 数 学 的 順 位 ( 扱 い や す さ ) 数値で表すことのできるデータ (例:長さ,気温) 内容を区別するためのデータ (例:性別,満足度) Slide by
H. Hayashi@KU
13.
13 フォーマルなデータの4分類 (3/3) 表としてまとめると... 名称 可能な演算
主な代表値 主な事例 量的 データ 比率データ +-×÷ 各種平均 質量,長さ,年齢, 時間,金額 間隔データ +- 算術平均 温度(摂氏),知能 指数 質的 データ 順位データ >= 中央値, 最頻値 満足度, 選好度,硬度 カテゴリ データ 度数カウント 最頻値 電話番号, 性別,血液型 Slide by H. Hayashi@KU データの種類によって使える手法が 大きく異なってくる
14.
1414 参考1:「データ」と「情報」について データとは 伝達、解釈、処理などに適するように形式化、符号化されたもの、 または再度情報として解釈できるものをいう。(Wikipedia)
データと情報の違い データとは、情報を生みだすための素材のことを呼び、 データのなかの問題解決に役立つ材料のみを 情報とよぶ。(Wikipedia) データ 情報 適切な方法を用いなければ 情報は抽出できない
15.
1515 参考2:データ→情報→知識→知恵 (資産工学研究所, 2012) データ
現象の中から、幾つかの目的をもって客観的に収集された素材のこと。売上数 字などの経営数字や自然現象などの現象を収集・記録したものであり、加工前 の原材料のことである。 情報 データを基に、特定の目的をもって検索・加工されたメッセージ性を持ったもので あり、主観的な内容でもよい。 知識 作成された情報を人間が理解し分析し結果を踏まえて洞察を加えたもののこと であって、価値を生み出すための材料となる。 知恵 知識を基に個人が持つ応用力・適応力を実践的に用いることによって、価値を 創造する思考や行動となるもののことである。 人間と 計算機 主に 人間 主に 人間
Descargar ahora