SlideShare una empresa de Scribd logo
1 de 36
Descargar para leer sin conexión
アジャイルデータサイエン
ス
1章 理論
2014/05/13
第1回「データ解析のための統計モデリング⼊⾨」読書会
@who_you_me
お前誰よ
@who_you_me
株式会社ハウテレビジョン所属 (2014/04〜)
Webエンジニアになったと思ったら名刺に「エンジニ
ア」としか書いてない
⾒習いスクラムマスター
CakePHPでサービス作ってる会社でひとりPythonを書い
てる
chefのレシピ書くのがダルいのでdockerに置き換えたい
ついでにdocker上⼿く使ってイケてる開発環境つくりた
い
#みどりぼん
開催おめでとうございま
す!
統計の難しい話とかはわからないので、
このLTではエンジニア寄りの話をしていきます
×
流⾏りモノ2つくっつければいいってもんじゃないだ
ろ、、、
紹介してるツール
Python
Apache Pig
MongoDB
Elasticsearch
Flask
Bootstrap
D3.js
Github
dotCloud
Amazon Web Service
Google Analytics
Fluentd
Kibana
溢れ出るフルスタック感
あまりいい予感はしませんが、取り敢えず読み進めていきま
しょう^^
本書の⽬的
1. Hadoopを使ってビッグデータを扱うデータアナリティクス
アプリケーションの構築⽅法のハウツー形式のガイドを提
供すること
2. アジャイルなスタイルでビッグデータのプロジェクトで複
数のチームが協⼒し合うことの⽀援
3. この分野を発展させるようなやり⽅でアジャイルビッグデ
ータアナリティクスを実践する上での仕組みを提供するこ
と
要は
集合知プログラミングは読んだ
はじパタも読んだ
⽬の前にデータらしきものはある
DBには何か⼊ってる
ログがどこかにある
さて、どこから⼿をつけた
らいいんだろう^^;
そんな⼈のための本です
それでは、はじまりはじま
り〜
データサイエンスの世界
⼤量データを(以前より)容易に扱えるようになったた
め、データサイエンスが盛り上がりを⾒せている
データサイエンスのプロジェクトは⻑期間になるため、ウ
ォーターフォール⽅式が未だに採⽤されいている
ソフトウェア開発の世界
ウォーターフォールは失敗する
アジャイル⾰命によってプロジェクトの成功率が上がった
変化を受け⼊れる
短いサイクルでリリースを繰り返す
本書の問題意識
アジャイル開発とデータサイエンスを組み合わせることで
(アジャイルビッグデータ)、研究とエンジニアリングを⽣
産的につなぎ合わたい
では、アジャイルビッグデ
ータにどう取り組めばよい
か
1.チーム
求められる役割
顧客
ビジネス開発
マーケッタ(ママ)
プロダクトマネージャ
ユーザーエクスペリエンスデザイナ
インタラクションデザイナ
Web開発者
エンジニア
データサイエンティスト
応⽤リサーチャー
プラットフォームエンジニア
運⽤/DevOpsプロフェッショナル
いっぱい
スペシャリストよりもジェネラリスト
⼤規模なチームよりも⼩規模なチーム
クラウド、分散システム、PaaSの活⽤
中間的な成果を継続的かつイテレーティブに共有
2.プロセス
チームの⽅向性の統⼀
現実世界からの要求は常に変化
変化に対応するため、モック作ったらすぐ実装
データは「主張する」
事前に結果を予測し過ぎるのは危険
アプリケーションの「主要な性格」をまず構築する
?
3.コードレビューとペア
プロ
4.環境
メンバーはクリエイティブワーカーであり、オフィスワー
カーではない
オフィスよりもスタジオに近い環境づくり
3種類の空間
コラボレーション空間
プライベート空間
パーソナル空間
5.⼤判プリン
タ
以上
なんちゅう終わり⽅やねん、、、
次回予告
2章 データ
本書で使⽤するデータ
データの保存先
分析の視点
以上、ご清聴ありがとうご
ざいました!

Más contenido relacionado

La actualidad más candente

Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
真吾 森
 

La actualidad más candente (20)

[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1
 
PypeRで実験と分析を一本化する
PypeRで実験と分析を一本化するPypeRで実験と分析を一本化する
PypeRで実験と分析を一本化する
 
量子コンピュータのプログラミング・コンテスト体験記
量子コンピュータのプログラミング・コンテスト体験記量子コンピュータのプログラミング・コンテスト体験記
量子コンピュータのプログラミング・コンテスト体験記
 
a story about an application that uses a real quantum computer
a story about an application that uses a real quantum computera story about an application that uses a real quantum computer
a story about an application that uses a real quantum computer
 
Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介
 
ML system design_pattern
ML system design_patternML system design_pattern
ML system design_pattern
 
18 minitus発表資料
18 minitus発表資料18 minitus発表資料
18 minitus発表資料
 
Introduction of network analysis with Google Colaboratory -- Introduction of ...
Introduction of network analysis with Google Colaboratory -- Introduction of ...Introduction of network analysis with Google Colaboratory -- Introduction of ...
Introduction of network analysis with Google Colaboratory -- Introduction of ...
 
Dataflow(python)を触った所感
Dataflow(python)を触った所感Dataflow(python)を触った所感
Dataflow(python)を触った所感
 
位置データもPythonで!!!
位置データもPythonで!!!位置データもPythonで!!!
位置データもPythonで!!!
 
July tech festa 2020リモートにおけるPBL活動の工夫と成果
July tech festa 2020リモートにおけるPBL活動の工夫と成果July tech festa 2020リモートにおけるPBL活動の工夫と成果
July tech festa 2020リモートにおけるPBL活動の工夫と成果
 
Introduction to Quantum Programming Studio
Introduction to Quantum Programming StudioIntroduction to Quantum Programming Studio
Introduction to Quantum Programming Studio
 
Dataflow(python)を使ってelasticsearchにデータを移行した話
Dataflow(python)を使ってelasticsearchにデータを移行した話Dataflow(python)を使ってelasticsearchにデータを移行した話
Dataflow(python)を使ってelasticsearchにデータを移行した話
 
Testing machine learning development
Testing machine learning developmentTesting machine learning development
Testing machine learning development
 
Machine learning microservice_management
Machine learning microservice_managementMachine learning microservice_management
Machine learning microservice_management
 
Machine learning and_system_design
Machine learning and_system_designMachine learning and_system_design
Machine learning and_system_design
 
Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
 
オレオレR-GUIを作りたい
オレオレR-GUIを作りたいオレオレR-GUIを作りたい
オレオレR-GUIを作りたい
 
Word2vecで大谷翔平の二刀流論争に終止符を打つ!
Word2vecで大谷翔平の二刀流論争に終止符を打つ!Word2vecで大谷翔平の二刀流論争に終止符を打つ!
Word2vecで大谷翔平の二刀流論争に終止符を打つ!
 
Introduction of network analysis with Google Colaboratory -- Orientation
Introduction of network analysis with Google Colaboratory -- OrientationIntroduction of network analysis with Google Colaboratory -- Orientation
Introduction of network analysis with Google Colaboratory -- Orientation
 

Destacado

第1回「データ解析のための統計モデリング入門」読書会 オープニング
第1回「データ解析のための統計モデリング入門」読書会 オープニング第1回「データ解析のための統計モデリング入門」読書会 オープニング
第1回「データ解析のための統計モデリング入門」読書会 オープニング
Katsushi Yamashita
 
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
Hisao Soyama
 
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
Hisao Soyama
 
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
 グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ- グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
Hisao Soyama
 
グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入
Hisao Soyama
 
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Hisao Soyama
 

Destacado (12)

階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
 
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
 
Matrix
MatrixMatrix
Matrix
 
第1回「データ解析のための統計モデリング入門」読書会 オープニング
第1回「データ解析のための統計モデリング入門」読書会 オープニング第1回「データ解析のための統計モデリング入門」読書会 オープニング
第1回「データ解析のための統計モデリング入門」読書会 オープニング
 
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
 
ベイズ統計学
ベイズ統計学ベイズ統計学
ベイズ統計学
 
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
 
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
 グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ- グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
 
SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦
SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦
SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦
 
グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入
 
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
 
10分でわかるPythonの開発環境
10分でわかるPythonの開発環境10分でわかるPythonの開発環境
10分でわかるPythonの開発環境
 

Similar a 『アジャイルデータサイエンス』1章 理論

Atnd地域検索作ったよー
Atnd地域検索作ったよーAtnd地域検索作ったよー
Atnd地域検索作ったよー
Ohishi Mikage
 
なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?
hide ogawa
 
ACL2014読み会:Fast and Robust Neural Network Joint Models for Statistical Machin...
ACL2014読み会:Fast and Robust Neural Network Joint Models for Statistical Machin...ACL2014読み会:Fast and Robust Neural Network Joint Models for Statistical Machin...
ACL2014読み会:Fast and Robust Neural Network Joint Models for Statistical Machin...
Hiroyuki TOKUNAGA
 

Similar a 『アジャイルデータサイエンス』1章 理論 (20)

PredictionIOのPython対応計画
PredictionIOのPython対応計画PredictionIOのPython対応計画
PredictionIOのPython対応計画
 
第45回PHP勉強会(里洋平)
第45回PHP勉強会(里洋平)第45回PHP勉強会(里洋平)
第45回PHP勉強会(里洋平)
 
Requestsで始める5分前帰社
Requestsで始める5分前帰社Requestsで始める5分前帰社
Requestsで始める5分前帰社
 
Bottle使ってPython学習一緒にはじめませんか?
Bottle使ってPython学習一緒にはじめませんか?Bottle使ってPython学習一緒にはじめませんか?
Bottle使ってPython学習一緒にはじめませんか?
 
bottleで始めるWEBアプリの最初の一歩
bottleで始めるWEBアプリの最初の一歩bottleで始めるWEBアプリの最初の一歩
bottleで始めるWEBアプリの最初の一歩
 
S08 t0 orientation
S08 t0 orientationS08 t0 orientation
S08 t0 orientation
 
Atnd地域検索作ったよー
Atnd地域検索作ったよーAtnd地域検索作ったよー
Atnd地域検索作ったよー
 
なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?
 
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析構造化データをツールで簡単に分析
構造化データをツールで簡単に分析
 
Pythonインタラクティブ・データビジュアライゼーション入門という本を共著で書きました
Pythonインタラクティブ・データビジュアライゼーション入門という本を共著で書きましたPythonインタラクティブ・データビジュアライゼーション入門という本を共著で書きました
Pythonインタラクティブ・データビジュアライゼーション入門という本を共著で書きました
 
JPSPSの運営を少しだけIT化してみて
JPSPSの運営を少しだけIT化してみてJPSPSの運営を少しだけIT化してみて
JPSPSの運営を少しだけIT化してみて
 
高卒でIT企業に入った体験談
高卒でIT企業に入った体験談高卒でIT企業に入った体験談
高卒でIT企業に入った体験談
 
Pythonで業務改善をしたときにあった問題(ライト版)
Pythonで業務改善をしたときにあった問題(ライト版)Pythonで業務改善をしたときにあった問題(ライト版)
Pythonで業務改善をしたときにあった問題(ライト版)
 
データビジュアライゼーションもくもく会
データビジュアライゼーションもくもく会データビジュアライゼーションもくもく会
データビジュアライゼーションもくもく会
 
Awsで作るビッグデータ解析今とこれから
Awsで作るビッグデータ解析今とこれからAwsで作るビッグデータ解析今とこれから
Awsで作るビッグデータ解析今とこれから
 
元BIエバンジェリストが語る!脱獄matplot!
元BIエバンジェリストが語る!脱獄matplot!元BIエバンジェリストが語る!脱獄matplot!
元BIエバンジェリストが語る!脱獄matplot!
 
PHPでセキュリティを真面目に考える
PHPでセキュリティを真面目に考えるPHPでセキュリティを真面目に考える
PHPでセキュリティを真面目に考える
 
Riot.jsとフォームのデータバインディング
Riot.jsとフォームのデータバインディングRiot.jsとフォームのデータバインディング
Riot.jsとフォームのデータバインディング
 
ACL2014読み会:Fast and Robust Neural Network Joint Models for Statistical Machin...
ACL2014読み会:Fast and Robust Neural Network Joint Models for Statistical Machin...ACL2014読み会:Fast and Robust Neural Network Joint Models for Statistical Machin...
ACL2014読み会:Fast and Robust Neural Network Joint Models for Statistical Machin...
 
ownCloudについて
ownCloudについてownCloudについて
ownCloudについて
 

Último

Último (11)

Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 

『アジャイルデータサイエンス』1章 理論