Enviar búsqueda
Cargar
Askusa on aws
•
0 recomendaciones
•
632 vistas
Shingo Furuyama
Seguir
第9回 AWS User Group - Japan 東京勉強会
Leer menos
Leer más
Denunciar
Compartir
Denunciar
Compartir
1 de 19
Recomendados
Askusa on AWS
Askusa on AWS
Shingo Furuyama
AWS前線、北上中! (AWS ジャパンツアー 2014 札幌)
AWS前線、北上中! (AWS ジャパンツアー 2014 札幌)
Hiroshi Koyama
受託開発時におけるAWSクラウド活用術
受託開発時におけるAWSクラウド活用術
Hiroshi Koyama
AWSエンジニアが、 経理部門と仲良くなれるTips
AWSエンジニアが、 経理部門と仲良くなれるTips
Tetsuya Ishibashi
VIOPS09: その鐘を鳴らすのはあなた
VIOPS09: その鐘を鳴らすのはあなた
VIOPS Virtualized Infrastructure Operators group ARCHIVES
目的別に考える冗長構成
目的別に考える冗長構成
Keishi Sugimoto
reGrowth福島 サーバレスの事例とセキュリティサービス
reGrowth福島 サーバレスの事例とセキュリティサービス
Haga Takeshi
20150121 JAWS-UG 関西女子会
20150121 JAWS-UG 関西女子会
Toshiyuki Konparu
Recomendados
Askusa on AWS
Askusa on AWS
Shingo Furuyama
AWS前線、北上中! (AWS ジャパンツアー 2014 札幌)
AWS前線、北上中! (AWS ジャパンツアー 2014 札幌)
Hiroshi Koyama
受託開発時におけるAWSクラウド活用術
受託開発時におけるAWSクラウド活用術
Hiroshi Koyama
AWSエンジニアが、 経理部門と仲良くなれるTips
AWSエンジニアが、 経理部門と仲良くなれるTips
Tetsuya Ishibashi
VIOPS09: その鐘を鳴らすのはあなた
VIOPS09: その鐘を鳴らすのはあなた
VIOPS Virtualized Infrastructure Operators group ARCHIVES
目的別に考える冗長構成
目的別に考える冗長構成
Keishi Sugimoto
reGrowth福島 サーバレスの事例とセキュリティサービス
reGrowth福島 サーバレスの事例とセキュリティサービス
Haga Takeshi
20150121 JAWS-UG 関西女子会
20150121 JAWS-UG 関西女子会
Toshiyuki Konparu
Clojureのstm実装について
Clojureのstm実装について
Shingo Furuyama
Askusa on aws
Askusa on aws
Shingo Furuyama
Hadoop distributions as of 20131231
Hadoop distributions as of 20131231
Shingo Furuyama
ClojureではじめるSTM入門
ClojureではじめるSTM入門
sohta
JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行
Yoshitaka Kawashima
イマドキのExcelスクショの撮り方
イマドキのExcelスクショの撮り方
Yoshitaka Kawashima
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
分割と整合性と戦う
分割と整合性と戦う
Yugo Shimizu
Plone + AWS at Plone Symposium tokyo 2015
Plone + AWS at Plone Symposium tokyo 2015
Manabu Terada
OpenStackによる、実践オンプレミスクラウド
OpenStackによる、実践オンプレミスクラウド
Masanori Itoh
「AWSを活用して少人数で複数のサービスを運用するコツ」〜jawsug in nagoya〜
「AWSを活用して少人数で複数のサービスを運用するコツ」〜jawsug in nagoya〜
Teruo Adachi
スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例
schoowebcampus
開発組織を急成長させる AWS 〜 Opt Technologies の歩みと AWS 活用
開発組織を急成長させる AWS 〜 Opt Technologies の歩みと AWS 活用
Jiro Hiraiwa
Google App Engine Java 入門
Google App Engine Java 入門
tantack
次世代インフラ基盤登場!Oracle Cloud IaaS 最新サービス・アップデート [Oracle Cloud Days Tokyo 2016]
次世代インフラ基盤登場!Oracle Cloud IaaS 最新サービス・アップデート [Oracle Cloud Days Tokyo 2016]
オラクルエンジニア通信
実プロジェクトの経験から学ぶazureサービス適用パターン
実プロジェクトの経験から学ぶazureサービス適用パターン
Kuniteru Asami
160901 osce2016sre
160901 osce2016sre
OSSラボ株式会社
OpenCloudCampus : Cloud Technologies Meeting (OpenStack)
OpenCloudCampus : Cloud Technologies Meeting (OpenStack)
Masanori Itoh
「hbstudy#23 OpenStack祭!!」資料 ~OpenStackプロジェクトの全体像~
「hbstudy#23 OpenStack祭!!」資料 ~OpenStackプロジェクトの全体像~
Masanori Itoh
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
Inoue Seki
Azure <3 Openness
Azure <3 Openness
Keiji Kamebuchi
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
Amazon Web Services Japan
Más contenido relacionado
Destacado
Clojureのstm実装について
Clojureのstm実装について
Shingo Furuyama
Askusa on aws
Askusa on aws
Shingo Furuyama
Hadoop distributions as of 20131231
Hadoop distributions as of 20131231
Shingo Furuyama
ClojureではじめるSTM入門
ClojureではじめるSTM入門
sohta
JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行
Yoshitaka Kawashima
イマドキのExcelスクショの撮り方
イマドキのExcelスクショの撮り方
Yoshitaka Kawashima
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
分割と整合性と戦う
分割と整合性と戦う
Yugo Shimizu
Destacado
(8)
Clojureのstm実装について
Clojureのstm実装について
Askusa on aws
Askusa on aws
Hadoop distributions as of 20131231
Hadoop distributions as of 20131231
ClojureではじめるSTM入門
ClojureではじめるSTM入門
JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行
イマドキのExcelスクショの撮り方
イマドキのExcelスクショの撮り方
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
分割と整合性と戦う
分割と整合性と戦う
Similar a Askusa on aws
Plone + AWS at Plone Symposium tokyo 2015
Plone + AWS at Plone Symposium tokyo 2015
Manabu Terada
OpenStackによる、実践オンプレミスクラウド
OpenStackによる、実践オンプレミスクラウド
Masanori Itoh
「AWSを活用して少人数で複数のサービスを運用するコツ」〜jawsug in nagoya〜
「AWSを活用して少人数で複数のサービスを運用するコツ」〜jawsug in nagoya〜
Teruo Adachi
スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例
schoowebcampus
開発組織を急成長させる AWS 〜 Opt Technologies の歩みと AWS 活用
開発組織を急成長させる AWS 〜 Opt Technologies の歩みと AWS 活用
Jiro Hiraiwa
Google App Engine Java 入門
Google App Engine Java 入門
tantack
次世代インフラ基盤登場!Oracle Cloud IaaS 最新サービス・アップデート [Oracle Cloud Days Tokyo 2016]
次世代インフラ基盤登場!Oracle Cloud IaaS 最新サービス・アップデート [Oracle Cloud Days Tokyo 2016]
オラクルエンジニア通信
実プロジェクトの経験から学ぶazureサービス適用パターン
実プロジェクトの経験から学ぶazureサービス適用パターン
Kuniteru Asami
160901 osce2016sre
160901 osce2016sre
OSSラボ株式会社
OpenCloudCampus : Cloud Technologies Meeting (OpenStack)
OpenCloudCampus : Cloud Technologies Meeting (OpenStack)
Masanori Itoh
「hbstudy#23 OpenStack祭!!」資料 ~OpenStackプロジェクトの全体像~
「hbstudy#23 OpenStack祭!!」資料 ~OpenStackプロジェクトの全体像~
Masanori Itoh
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
Inoue Seki
Azure <3 Openness
Azure <3 Openness
Keiji Kamebuchi
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
Amazon Web Services Japan
Cloud stack概要とaccel認定試験のご紹介
Cloud stack概要とaccel認定試験のご紹介
Tadashi Mishima
20161111 java one2016-feedback
20161111 java one2016-feedback
Takashi Ito
EC2 Deep Dive at CTO Night&Day 2016
EC2 Deep Dive at CTO Night&Day 2016
Yasuhiro Matsuo
AWS Black Belt Online Seminar 2017 AWS Summit Tokyo 2017 まとめ
AWS Black Belt Online Seminar 2017 AWS Summit Tokyo 2017 まとめ
Amazon Web Services Japan
Hadoop/Spark セルフサービス系の事例まとめ
Hadoop/Spark セルフサービス系の事例まとめ
Yuta Imai
サーバ構築・デプロイが簡単に!Elastic beanstalk
サーバ構築・デプロイが簡単に!Elastic beanstalk
Hirokazu Ouchi
Similar a Askusa on aws
(20)
Plone + AWS at Plone Symposium tokyo 2015
Plone + AWS at Plone Symposium tokyo 2015
OpenStackによる、実践オンプレミスクラウド
OpenStackによる、実践オンプレミスクラウド
「AWSを活用して少人数で複数のサービスを運用するコツ」〜jawsug in nagoya〜
「AWSを活用して少人数で複数のサービスを運用するコツ」〜jawsug in nagoya〜
スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例
開発組織を急成長させる AWS 〜 Opt Technologies の歩みと AWS 活用
開発組織を急成長させる AWS 〜 Opt Technologies の歩みと AWS 活用
Google App Engine Java 入門
Google App Engine Java 入門
次世代インフラ基盤登場!Oracle Cloud IaaS 最新サービス・アップデート [Oracle Cloud Days Tokyo 2016]
次世代インフラ基盤登場!Oracle Cloud IaaS 最新サービス・アップデート [Oracle Cloud Days Tokyo 2016]
実プロジェクトの経験から学ぶazureサービス適用パターン
実プロジェクトの経験から学ぶazureサービス適用パターン
160901 osce2016sre
160901 osce2016sre
OpenCloudCampus : Cloud Technologies Meeting (OpenStack)
OpenCloudCampus : Cloud Technologies Meeting (OpenStack)
「hbstudy#23 OpenStack祭!!」資料 ~OpenStackプロジェクトの全体像~
「hbstudy#23 OpenStack祭!!」資料 ~OpenStackプロジェクトの全体像~
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
Azure <3 Openness
Azure <3 Openness
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
Cloud stack概要とaccel認定試験のご紹介
Cloud stack概要とaccel認定試験のご紹介
20161111 java one2016-feedback
20161111 java one2016-feedback
EC2 Deep Dive at CTO Night&Day 2016
EC2 Deep Dive at CTO Night&Day 2016
AWS Black Belt Online Seminar 2017 AWS Summit Tokyo 2017 まとめ
AWS Black Belt Online Seminar 2017 AWS Summit Tokyo 2017 まとめ
Hadoop/Spark セルフサービス系の事例まとめ
Hadoop/Spark セルフサービス系の事例まとめ
サーバ構築・デプロイが簡単に!Elastic beanstalk
サーバ構築・デプロイが簡単に!Elastic beanstalk
Más de Shingo Furuyama
ストリームデータに量子アニーリングを適用するアプリケーションフレームワークとその有用性
ストリームデータに量子アニーリングを適用するアプリケーションフレームワークとその有用性
Shingo Furuyama
Asakusa Framework Tutorial β版
Asakusa Framework Tutorial β版
Shingo Furuyama
20070329 Tech Study
20070329 Tech Study
Shingo Furuyama
20070329 Java Programing Tips
20070329 Java Programing Tips
Shingo Furuyama
20070329 Object Oriented Programing Tips
20070329 Object Oriented Programing Tips
Shingo Furuyama
#ajn6.lt.marblejenka
#ajn6.lt.marblejenka
Shingo Furuyama
#ajn3.lt.marblejenka
#ajn3.lt.marblejenka
Shingo Furuyama
Más de Shingo Furuyama
(7)
ストリームデータに量子アニーリングを適用するアプリケーションフレームワークとその有用性
ストリームデータに量子アニーリングを適用するアプリケーションフレームワークとその有用性
Asakusa Framework Tutorial β版
Asakusa Framework Tutorial β版
20070329 Tech Study
20070329 Tech Study
20070329 Java Programing Tips
20070329 Java Programing Tips
20070329 Object Oriented Programing Tips
20070329 Object Oriented Programing Tips
#ajn6.lt.marblejenka
#ajn6.lt.marblejenka
#ajn3.lt.marblejenka
#ajn3.lt.marblejenka
Askusa on aws
1.
Asakusa on AWS
第9回 AWS User Group - Japan 東京勉強会 Shingo Furuyama @marblejenka
2.
自己紹介 Asakusa Frameworkの概要
Asakusa on EC2 今後の展開など Hadoopについて
3.
自己紹介 Asakusa Frameworkの概要
Asakusa on EC2 今後の展開など Hadoopについて
4.
@marblejenka 自己紹介
5.
キャリア [2007/4~2010/6] SimplexTechnology,
Inc. 金利デリバティブに関するシステム開発 Treasury Risk Managementに関するシステム開発 [2010/7~2011/2] Self Employee Hadoopの金融領域における利用についてのPoC EMRを基盤とするログ解析アプリケーションの開発 [2011/3~2011/9] UL Systems, Inc. Asakusa Framework/Hadoopインフラ検証・設定 分散処理のアプリケーションに関するPoC/開発 [2011/10~]Nautilus Technologies, Inc. 分散処理のアプリケーションに関するPoC/開発など 自己紹介 http://www.facebook.com/profile.php?id=1762939167&sk http://www.linkedin.com/in/shingofuruyama
6.
自己紹介 Asakusa Frameworkの概要
Asakusa on EC2 今後の展開など Hadoopについて
7.
MapReduceによる分散計算ができる HDFSでデータインテンシブな計算をサポート Disk
I/Oを分散させてスループットを高めるアーキテクチャ Hadoopについて
8.
業務システムの複雑さのレベルに比して変更耐性が弱い HDFSにトランザクションという概念が存在しない 単体テスト・結合テストの仕組みがそれほど考えられているものではない
Hadoopについて Hadoopを業務システムに適用する際の問題点 Asakusa Frameworkはこれらの弱点を補うレイヤとして機能する
9.
自己紹介 Asakusa Frameworkの概要
Asakusa on EC2 今後の展開など Hadoopについて
10.
Apache License, Version
2.0で公開されているOSS https://github.com/asakusafw/ http://asakusafw.s3.amazonaws.com/documents/0.2/develop/ja/html/index.html 業務処理をJavaをホスト言語とするDSLで記述し、JavaのコンパイラとAsakusaのMapReduceコンパイラでコンパイルし、バッチアプリケーションを生成する コンパイルされたバッチアプリケーションを制御する薄いラッパーを経由してHadoopのジョブを実行するため、Hadoopに対する追加のセットアップは不要 Asakusa Frameworkの概要
11.
Asakusa Frameworkの概要 AsakusaによるHadoopの補完
変更耐性が低い DSL/Generic Data Flow DMDL/DMTL トランザクションがない ThunderGate (RDBMSとの連携) テスト支援が弱い TestDriver
12.
13.
AsakusaFrameworkの概要の解説
14.
Cloudera 配布のVMware仮想マシンによるQuick
Startの解説/ハンズオンAsakusa Frameworkの概要 買ってね!
15.
自己紹介 Asakusa Frameworkの概要
Asakusa on EC2 今後の展開など Hadoopについて
16.
スタンドアロンモードで動作する開発環境向けのAMIを提供中 https://github.com/asakusafw/asakusafw/wiki/Asakusa-SDK-AMI-ja Asakusa
on EC2
17.
Asakusa FrameworkのCIはAWS上で実行 http://ec2-175-41-241-89.ap-northeast-1.compute.amazonaws.com/jenkins/
Asakusa on EC2
18.
aws-toos HadoopのクラスタをEC2上に自動生成するツール Private
IPで通信したいので、起動後に設定ファイルのwiringを行う 諸般の事情により未公開 AWSでのHadoop完全分散モードによる実行環境について 東京リージョンではClusterCompute Instanceにできないため、HadoopのShuffleフェーズの性能が問題になる 別にお試しならClusterComputeでなくてもよいが・・・ EMRが使えるべきだが、Hadoopのバージョンの違いがあり、動作しない Asakusa on EC2
19.
自己紹介 Asakusa Frameworkの概要
Asakusa on EC2 今後の展開など Hadoopについて
20.
実案件でAWSの使用を検討中 案件化後、汎用的に使えるProofedなソースをOSSにしていく EMR対応を本格検討中で、本番・ステージング・研究開発に使用する
今後の展開など
21.
Thank You!!