Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a 若手Webエンジニア勉強会公開用
Similar a 若手Webエンジニア勉強会公開用 (20)
若手Webエンジニア勉強会公開用
- 2. Hitokuse Inc.© 自己紹介 2 株式会社ヒトクセ取締役CMO 濁沼広樹 横浜国立大学出身 株式会社リアルワールドを経てヒトクセへ 技術系 : ビジネス系 = 5 : 5 サーバーサイド(Ruby on Rails) インフラ(AWS) Twitter : @nigohiroki
- 3. Hitokuse Inc.© -集計- 3 Hive集計 + DB保存
- 4. Hitokuse Inc.© Hive集計 + DB保存 4 処理イメージ (1時間に一回行う) 生データ (JSON) 集計データ(DB) ad_id 1 imp 100 click 20 { id : 1 , type : imp} { id : 1 , type : imp} ... { id : 1 , type : click} Hiveを実行するスクリプトをRubyで記述
- 5. Hitokuse Inc.© Hive集計 + DB保存 5 EC2からHiveのHQLを実行する RubyのコードにHQLを記述する SELECT count(*) FROM logs WHERE type = imp GROUP BY app_id; コードが長くなる。 書き間違いが起こる。 保守性が悪い。
- 7. Hitokuse Inc.© HiveのORマッパーを作る 7 RailsのActiveRecordライクにする SELECT count(*) FROM logs WHERE type = imp GROUP BY app_id; これを Log.hive_select(count(*)).hive_where(type: :imp) .hive_group_by(:app_id) こういう感じで書きたい
- 8. Hitokuse Inc.© HiveのORマッパーを作る 8 ActiveRecordっぽい感じにするには1 クラス名.メソッド名 例 ) User.find(1) 対象のモデルにクラスメソッドを追加 例 ) self.hive_select, self.hive_where Log.hive_select()
- 9. Hitokuse Inc.© HiveのORマッパーを作る 9 ActiveRecordっぽい感じにするには2 クラス名.メソッド名.メソッド名 例 ) User.where().order().limit() 各メソッドの返り値をselfにする 例 ) def self.hive_select 何かしらの処理 self end
- 10. Hitokuse Inc.© HiveのORマッパーを作る 10 ActiveRecordっぽい感じにするには3 どのクラスでも共通のメソッドを使いたい 例 ) User.where(), Article.where() 継承 or concern app/models/concerns/hive_active_record.rb 該当のモデルにて include HiveActiveRecord
- 11. Hitokuse Inc.© HiveのORマッパーを作る 11 こうして出来たORマッパーはこんな感じ Log.hive_select(count(*)).hive_where(type: :imp) .hive_group_by(:app_id) これが SELECT count(*) FROM logs WHERE type = imp GROUP BY app_id; このようなHQLを吐き出します このようなHQLをインスタンス変数に格納します
- 13. Hitokuse Inc.© HiveのORマッパーを作る 13 改善点1 HQLをインスタンス変数に保存 -> HQLを取り出すゲッター的なものが必要 メソッドが後続に続いているかどうかを判断 1) User.where().limit() 2) User.where() where()の返り値を1の場合はself 2の場合はHQLを返したい
- 16. Hitokuse Inc.© おまけ 16 Ruby on Rails ヒトクセを支える技術 AWS JavaScript Hadoop Chef fluentd 最適化アルゴリズム(bandit)