Enviar búsqueda
Cargar
リアルタイムトレンド抽出飛び込み用
•
Descargar como PPTX, PDF
•
2 recomendaciones
•
1,069 vistas
D
DMM.com
Seguir
2015/08/23 Talk Live in Summer 2015 at DMM.com Laboで発表した内容です。
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 14
Descargar ahora
Recomendados
ソニーのディープラーニングツールで簡単エッジコンピューティング
ソニーのディープラーニングツールで簡単エッジコンピューティング
Ryohei Kamiya
第一回 AI Code Review
第一回 AI Code Review
Ryohei Kamiya
Dmmに入社してみた
Dmmに入社してみた
DMM.com
マイクロサービス時代の動画配信基Ruby×go=∞
マイクロサービス時代の動画配信基Ruby×go=∞
DMM.com
DMM.comにおけるビッグデータ処理のためのSQL活用術
DMM.comにおけるビッグデータ処理のためのSQL活用術
DMM.com
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
Koichi Hamada
デジタルトランスフォーメーション時代を生き抜くためのビジネス力 ~ AI、Advanced Analytics の使いどころ ~
デジタルトランスフォーメーション時代を生き抜くためのビジネス力 ~ AI、Advanced Analytics の使いどころ ~
Daiyu Hatakeyama
Recomendados
ソニーのディープラーニングツールで簡単エッジコンピューティング
ソニーのディープラーニングツールで簡単エッジコンピューティング
Ryohei Kamiya
第一回 AI Code Review
第一回 AI Code Review
Ryohei Kamiya
Dmmに入社してみた
Dmmに入社してみた
DMM.com
マイクロサービス時代の動画配信基Ruby×go=∞
マイクロサービス時代の動画配信基Ruby×go=∞
DMM.com
DMM.comにおけるビッグデータ処理のためのSQL活用術
DMM.comにおけるビッグデータ処理のためのSQL活用術
DMM.com
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
Koichi Hamada
デジタルトランスフォーメーション時代を生き抜くためのビジネス力 ~ AI、Advanced Analytics の使いどころ ~
デジタルトランスフォーメーション時代を生き抜くためのビジネス力 ~ AI、Advanced Analytics の使いどころ ~
Daiyu Hatakeyama
楽しいものづくり ファーストステップ
楽しいものづくり ファーストステップ
Satoshi Maemoto
Redmineの情報を自分好みに見える化した話
Redmineの情報を自分好みに見える化した話
ToshiharuSakai
2018/3/23 Introduction to Deep Learning by Neural Network Console
2018/3/23 Introduction to Deep Learning by Neural Network Console
Sony Network Communications Inc.
世界を変える先端Itテクノロジー
世界を変える先端Itテクノロジー
Satoshi Maemoto
クラッシュフィーバー開発の裏側
クラッシュフィーバー開発の裏側
Tomotsune Murata
2014年を振り返る 今年の技術トレンドとDockerについて
2014年を振り返る 今年の技術トレンドとDockerについて
Masahito Zembutsu
クラッシュフィーバーのシステム構成
クラッシュフィーバーのシステム構成
Tomotsune Murata
EXE #3: AIを協力して作成するDapp
EXE #3: AIを協力して作成するDapp
blockchainexe
What's TMCN?
What's TMCN?
Yukihiro Kimura
xR Developerなら知っておきたいカメラの基礎知識
xR Developerなら知っておきたいカメラの基礎知識
Satoshi Maemoto
ゲーム事業×データ分析 ドリコムにおける組織と仕事の組み立て方
ゲーム事業×データ分析 ドリコムにおける組織と仕事の組み立て方
Hisahiko Shiraishi
「納品のない受託開発」にみるソフトウェア受託開発の未来
「納品のない受託開発」にみるソフトウェア受託開発の未来
Yoshihito Kuranuki
非エンジニアに人工知能に興味を持ってもらう話
非エンジニアに人工知能に興味を持ってもらう話
Satoru Mikami
モバイルがモーションセンサーに出会ったら
モバイルがモーションセンサーに出会ったら
Akira Hatsune
20160820 ソラコム主催ハンズオン LT資料
20160820 ソラコム主催ハンズオン LT資料
Toru Murasawa
探検隊長が語るSoftLayerデザインパターン
探検隊長が語るSoftLayerデザインパターン
Maho Takara
2018/07/26 Game change by Deep Learning and tips to make a leap
2018/07/26 Game change by Deep Learning and tips to make a leap
Sony Network Communications Inc.
第4回 SoftLayer勉強会 資料
第4回 SoftLayer勉強会 資料
Naoki Shibata
[Heroku meetup LT] Salesforce1 Developers Community MAXの紹介
[Heroku meetup LT] Salesforce1 Developers Community MAXの紹介
Mitch Okamoto
LEANSTARTUPアンチパターン #devlove #leanstartup
LEANSTARTUPアンチパターン #devlove #leanstartup
Itsuki Kuroda
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
Más contenido relacionado
Similar a リアルタイムトレンド抽出飛び込み用
楽しいものづくり ファーストステップ
楽しいものづくり ファーストステップ
Satoshi Maemoto
Redmineの情報を自分好みに見える化した話
Redmineの情報を自分好みに見える化した話
ToshiharuSakai
2018/3/23 Introduction to Deep Learning by Neural Network Console
2018/3/23 Introduction to Deep Learning by Neural Network Console
Sony Network Communications Inc.
世界を変える先端Itテクノロジー
世界を変える先端Itテクノロジー
Satoshi Maemoto
クラッシュフィーバー開発の裏側
クラッシュフィーバー開発の裏側
Tomotsune Murata
2014年を振り返る 今年の技術トレンドとDockerについて
2014年を振り返る 今年の技術トレンドとDockerについて
Masahito Zembutsu
クラッシュフィーバーのシステム構成
クラッシュフィーバーのシステム構成
Tomotsune Murata
EXE #3: AIを協力して作成するDapp
EXE #3: AIを協力して作成するDapp
blockchainexe
What's TMCN?
What's TMCN?
Yukihiro Kimura
xR Developerなら知っておきたいカメラの基礎知識
xR Developerなら知っておきたいカメラの基礎知識
Satoshi Maemoto
ゲーム事業×データ分析 ドリコムにおける組織と仕事の組み立て方
ゲーム事業×データ分析 ドリコムにおける組織と仕事の組み立て方
Hisahiko Shiraishi
「納品のない受託開発」にみるソフトウェア受託開発の未来
「納品のない受託開発」にみるソフトウェア受託開発の未来
Yoshihito Kuranuki
非エンジニアに人工知能に興味を持ってもらう話
非エンジニアに人工知能に興味を持ってもらう話
Satoru Mikami
モバイルがモーションセンサーに出会ったら
モバイルがモーションセンサーに出会ったら
Akira Hatsune
20160820 ソラコム主催ハンズオン LT資料
20160820 ソラコム主催ハンズオン LT資料
Toru Murasawa
探検隊長が語るSoftLayerデザインパターン
探検隊長が語るSoftLayerデザインパターン
Maho Takara
2018/07/26 Game change by Deep Learning and tips to make a leap
2018/07/26 Game change by Deep Learning and tips to make a leap
Sony Network Communications Inc.
第4回 SoftLayer勉強会 資料
第4回 SoftLayer勉強会 資料
Naoki Shibata
[Heroku meetup LT] Salesforce1 Developers Community MAXの紹介
[Heroku meetup LT] Salesforce1 Developers Community MAXの紹介
Mitch Okamoto
LEANSTARTUPアンチパターン #devlove #leanstartup
LEANSTARTUPアンチパターン #devlove #leanstartup
Itsuki Kuroda
Similar a リアルタイムトレンド抽出飛び込み用
(20)
楽しいものづくり ファーストステップ
楽しいものづくり ファーストステップ
Redmineの情報を自分好みに見える化した話
Redmineの情報を自分好みに見える化した話
2018/3/23 Introduction to Deep Learning by Neural Network Console
2018/3/23 Introduction to Deep Learning by Neural Network Console
世界を変える先端Itテクノロジー
世界を変える先端Itテクノロジー
クラッシュフィーバー開発の裏側
クラッシュフィーバー開発の裏側
2014年を振り返る 今年の技術トレンドとDockerについて
2014年を振り返る 今年の技術トレンドとDockerについて
クラッシュフィーバーのシステム構成
クラッシュフィーバーのシステム構成
EXE #3: AIを協力して作成するDapp
EXE #3: AIを協力して作成するDapp
What's TMCN?
What's TMCN?
xR Developerなら知っておきたいカメラの基礎知識
xR Developerなら知っておきたいカメラの基礎知識
ゲーム事業×データ分析 ドリコムにおける組織と仕事の組み立て方
ゲーム事業×データ分析 ドリコムにおける組織と仕事の組み立て方
「納品のない受託開発」にみるソフトウェア受託開発の未来
「納品のない受託開発」にみるソフトウェア受託開発の未来
非エンジニアに人工知能に興味を持ってもらう話
非エンジニアに人工知能に興味を持ってもらう話
モバイルがモーションセンサーに出会ったら
モバイルがモーションセンサーに出会ったら
20160820 ソラコム主催ハンズオン LT資料
20160820 ソラコム主催ハンズオン LT資料
探検隊長が語るSoftLayerデザインパターン
探検隊長が語るSoftLayerデザインパターン
2018/07/26 Game change by Deep Learning and tips to make a leap
2018/07/26 Game change by Deep Learning and tips to make a leap
第4回 SoftLayer勉強会 資料
第4回 SoftLayer勉強会 資料
[Heroku meetup LT] Salesforce1 Developers Community MAXの紹介
[Heroku meetup LT] Salesforce1 Developers Community MAXの紹介
LEANSTARTUPアンチパターン #devlove #leanstartup
LEANSTARTUPアンチパターン #devlove #leanstartup
Último
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
Último
(9)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
リアルタイムトレンド抽出飛び込み用
1.
Spark x Solrによるリアルタイムト レンド抽出の具体的手法 飛び込み用 今作った R&Dちーむ:
tanaka.yuichi
2.
自己紹介とか 金融系・組み込み系・コミュニティサービス・ゲーム・広告等の各システムを経てDMMへ。 DMM.comラボにおいて、検索システムの刷新、レコメンドエンジンの新規開発など、基 盤技術の開発を担当しております。 サーバーサイド、フロントエンド、ミドルウェア、インフラと領域問わず、提案から構築・実 装まで幅広くやらせてもらっています。その他OSSのcontributor等もやっております。 株式会社 DMM.comラボ CTO室
3.
CTO室ってなんだ? 新しい技術の取り込み 研究開発とか 技術サポートとか 対外活動とか
4.
どんな事やってるのかの話 取り組みのコンセプト ユーザーの行動ログや商品データ、ソーシャルデータからニーズ にマッチした商品・広告・コンテンツの提供を行う 売り上げの最大化・パイの最大化・隠れた需要の掘り起こし 大規模データの解析・機械学習によるデータを元にしたアプローチ 前段 ミッション やる事
5.
6.
リアルタイムレコメンドのおさらい
7.
リアルタイムレコメンドのおさらい 今回主につかったもの • Apache Spark •
SparkStreaming • GraphX • SparkMLlib • Apache Solr
8.
Sparkの丁寧な説明 Apache Spark? 高速に大規模データ処理を行うエンジン
9.
SparkCoreについての説明 Cluster Manager Yarn Mesos Data Source Stream HDFS
10.
SparkRDDsの説明 SparkではRDDsという単位でデータを扱います。 val test =
sc.textFile("/tmp/sample.txt") これRDD test.count このRDDに対して count take collect map filter といった処理を行います
11.
SparkDStreamの説明 RDDsのまとまりをDStreamとして扱います RDDと似た関数を持っていて、下記のようなStreamデータを n秒で分けてバッチ処理をする仕組み
12.
SparkStreamingのWindowOperation説明 Tweet10 Tweet9 Tweet8 Tweet7 Tweet6 Tweet5 Tweet4 Tweet3 Tweet2 Tweet1 時間 DStream 1秒 DStream 2秒 DStream 3秒 DStream 4秒 DStream
13.
まとめ Sparkで問題になりやすい部分 1. 完全に分散処理させるためのハードルが高い(アーキテクト的に) 1. HDFS、YARNの構築・設定が終わってる事前提 2.
Sparkのrequirementだけじゃなくてトータルで考える必要がある 3. メモリ馬鹿喰いする 2. プログラムが作り辛い 1. Standalonモードだと分散処理にしたとき転ける事が多い 2. yarn-clientモードでもdriverをclusterにしたときに転けたりする 3. じゃぁ、分散でやれば良いかと言うと、分散するとデバッグが難しい SparkStreamingで問題になりやすい部分 1. 途中で止める方法がない 1. 通常のSparkプログラムとCluster上での動作が違う 2. graceful-stopはプログラム側で実装しないとダメ 3. Streamingの性質上、データロストの対策を考えないとダメ 4. プログラムの差し替えの方法を考えないとダメ 5. どうやって運用するかは課題が山積み
14.
以上
Notas del editor
※赤字部分は軽く説明
※ここでmapreduceとの違いにも言及しておく
Descargar ahora