搜狐Pv insight(py)技术交流

搜狐 PVInsight 运算系统刘凯毅 ; 尤春

PVInsight 系统简介 ,[object Object],[object Object]

PVInsight 运系统简介什么样的用户认可提供的价值？这些用户有商业价值吗？有多认可？开始认识用户吧！

系统简介 / 用户关键字：响应用户 / 新用户 / 活跃用户 / 流失用户

系统简介 / 用户关键字 : 连续访问

系统简介 / sohu 企邮一个企邮用户的连续访问 > 登入 > [ 管理此域 ] > 员工列表 > 广播邮件 * >>> ..... 一通点击 > 群组列表 > 新建群组 > 广播邮件 * > 发送想发广播邮件的用户想做了些什么？

系统简介 / sohu 企邮如何发现此类连续访问问题？ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

[object Object],系统简介 / 商业价值各个职位上对商业价值的帮助广告给我们带来效果怎么样？

系统简介 / 商业价值角度

名词解释 Pv : page view 浏览次数 Uv : unique visitor 独立访客 Ip : 独立 Ip 数新老访客 / 回头用户 / 会话次数 / 访问间隔 / 停留时长 / 访问深度 / 回访率 / 跳出率 / 入口率计费方式： cpc : 每次点击计费 cpm : 千次效果展现计费 cpa : 用户行为计费 cps : 销售成本计费

名词解释现实是很残酷的：其实 UV 就很难算～我们的 UID 是一个 16 位的字符串一般一个小小的统计就上亿条的记录 ( 16*8* (10**8) ) / ((2**10)**3) = 12 G

PVInsight 运系统简介 ,[object Object],[object Object],[object Object],[object Object],[object Object]

系统架构 / 使用语言 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Py 细节 / 预处理 / 数据完整性 url url => 栏目 ID ，频道 ID

Py 细节 / 预处理 / 数据完整性 url 域名 +url auto.sohu.com/ /20090914/n266706777.shtml 域名 auto.sohu.com/ 泛域名 i.auto.sohu.com/ 20090913/n237706498.shtml 特例 http://cs.focus.cn/news/2005-09-14/128510.html

Py 细节 / 预处理 / 数据完整性 url ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Py 细节 / 预处理 / 数据完整性 url Btree key url moc.uhos.otua | / 20090913/n237706498.shtml moc.uhos.otua | moc.uhos.otua. i | /20090914/n266706777.shtml | = 174 特例 cs.focus.cn/news/2005-09-14/128510.html

Py 细节 / 预处理 / 数据清洗流水线——预处理 0908251329265655 [26/Aug/2009:13:25:01 +0800] 123.15.49.138 "GET /pv.gif?t?=1251264295765164_1024_768?r?=http://www.sohu.com/ HTTP/1.1" "http://news.sohu.com/20090826/n266231388.shtml" pv.sohu.com CN4107 - - "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; QQDownload 570; .NET CLR 1.1.4322; InfoPath.2; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)" iamyp78@sohu.com news.sohu.com 0908251329265655 20090826/n266231388.shtml 26/Aug/2009:13:25:01 0|2|1|1|iamyp78@sohu.com www.sohu.com CN2301 908251329265655 1252922376 900 /20090707/n265035120.shtml 11 / 0|2|1|1|iamyp78@sohu.com CN2301 news.sohu.com 0908251329265655 20090826/n266231388.shtml 26/Aug/2009:13:25:01 0|2|1|1|iamyp78@sohu.com www.sohu.com CN2301 908251329265655 1252922376 900 /20090707/n265035120.shtml 11 / 0|2|1|1|iamyp78@sohu.com CN2301 news.sohu.com 0908251329265655 20090826/n266231388.shtml 26/Aug/2009:13:25:01 0|2|1|1|iamyp78@sohu.com www.sohu.com CN2301 908251329265655 1252922376 900 /20090707/n265035120.shtml 11 / 0|2|1|1|iamyp78@sohu.com CN2301 news.sohu.com 0908251329265655 20090826/n266231388.shtml 26/Aug/2009:13:25:01 0|2|1|1|iamyp78@sohu.com www.sohu.com CN2301 908251329265655 1252922376 900 /20090707/n265035120.shtml 11 / 0|2|1|1|iamyp78@sohu.com CN2301 news.sohu.com 0908251329265655 20090826/n266231388.shtml 26/Aug/2009:13:25:01 0|2|1|1|iamyp78@sohu.com www.sohu.com CN2301 908251329265655 1252922376 900 /20090707/n265035120.shtml 11 / 0|2|1|1|iamyp78@sohu.com CN2301

Py 细节 / 预处理 / 数据清洗 Py 的一些特性正则 >>> re.findall( r’(?:ab)+’ , ’ababab abbabb aabaab’) 输出 : ['ababab'] >>> re.findall( ’/.*?/’ , ‘/* part 1 */ code /* part 2 */ ‘) 输出 : ['/* part 1 */', '/* part 2 */'] ‘ (?<=…)’ 前向界定 , ‘(?=…)’ 后向界定 >>> s=r’/* comment 1 */ code /* comment 2 */’ >>> re.findall( r’(?<=/).+?(?=/)’ , s ) [' comment 1 ', ' comment 2 '] # py 条件正则大家请注意。。。

Py 细节 / 预处理 / 数据清洗合理使用正则

Py 细节 / 预处理 / 中间结果 / 分时分治

PVInsight 运算系统实现流水线——分时处理

Py 细节 / 分时流水线——分时处理

计算 UV 好吧已经知道 UV 就很难算～我们先来看看，目前非常火的 Mapreduce 解决方案！

UV 计算， mapreduce 解决方案目前我这里使用的， mapreduce 很粗暴！

UV 计算， mapreduce 解决方案频道 1,SUV1 频道 2,SUV2 频道 1,SUV3 频道 1,SUV1 频道 1,SUV2 频道 1 SUV1 频道 1 SUV1 频道 1 SUV2 频道 1 SUV3 频道 2 SUV1 频道 1 SUV1 频道 1 SUV1 频道 1 SUV2 频道 1 SUV3 频道 2 SUV1 频道 1,SUV1 频道 2,SUV2 频道 1,SUV3 频道 1,SUV1 频道 1,SUV2 频道 1 SUV1 频道 1 SUV3 频道 1 SUV1 频道 1 SUV2 频道 2 SUV1 频道 1 SUV1 频道 1 SUV3 频道 1 SUV2 频道 2 SUV1

UV 计算， mapreduce 解决方案频道 1,IP1,SUV1 频道 2, IP1,SUV2 频道 1, IP2,SUV3 频道 1 ‘SUV’ SUV1 频道 1 ‘IP’ IP1 频道 2 ‘SUV’ SUV2 频道 2 ‘IP’ IP1 频道 1 ‘SUV’ SUV3 频道 1 ‘IP’ IP2 … …

Py 细节 / 预处理 / 中间结果 / 分时分治 Python ： marshal

UV 计算， python 解决方案频道 1,SUV1 频道 2,SUV2 频道 1,SUV1 频道 1,SUV3 频道 1,SUV1 频道 1,SUV2 频道 1 001001… 频道 2 100111 … 频道 1 110011… 频道 1 00100… 频道 1 0001010… 频道 2 1001000…

UV 计算， python 解决方案现实又一次的残酷了！我们的 UID 是一个 16 位的字符串～

UV 计算， python 解决方案 bc=bitarray() for n in xrange( 1000 ) : bc.extend(bitarray(10**6)) #120M f1=open('/tmp/bc1.ba','wa') bc.tofile(f1) # 我测试在 160k 左右 sio = StringIO() f2=open('/tmp/bc2.ba','wb') w = GzipFile('/tmp/bc3.ba','wb',9,sio) w.write(bc.tostring()) w.close()

UV 计算， python 解决方案

UV 计算， python 调度这么多任务 , 我们需要以个 .. 调度

Py 细节 / 调度 - gearman

Py 细节 / 调度 – 想象远没现实美好

Py 细节 / 胶水 R / rpy2 import rpy2.robjects as robjects r = robjects.r robjects.globalenv["x"] = robjects.FloatVector([1,2, 3, 4, 5, 6, 7, 8, 9, 10]) robjects.globalenv["y"] = robjects.FloatVector([0,30,44,57,65,78,68,97,99,120]) lm_d9 = r.lm("y ~ 1+x") r.predict( lm_d9, robjects.r(" data.frame(x=11) "), interval="prediction",level=0.95)[0] 输出： 128.26666666666668

数据的重要性 - 数据可视化 Twitter 上我们的关系

数据的重要性 - 数据可视化 facebook 人物关系链图

数据的重要性 - 数据可视化 Yahoo Research 针对地震发生后一小时 twitter 相关微博数据研究

数据的重要性 - 数据可视化高转帖子的传播环：二环为粉丝转发 5% ，三环为粉丝们的粉丝转发 55% ，四环是粉丝们的粉丝加泛粉丝 25% ，五环是随机粉丝 15% 。

数据的重要性 - 数据可视化

数据的重要性 - 数据可视化 twitter 上的 love 有关的关键词

数据的重要性 - 数据可视化 twitter 上的 hate 有关的关键词

搜狐Pv insight(py)技术交流

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (9)

Similar a 搜狐Pv insight(py)技术交流

Similar a 搜狐Pv insight(py)技术交流 (20)

搜狐Pv insight(py)技术交流

Notas del editor