Enviar búsqueda
Cargar
薛伟:腾讯广点通——大数据之上的实时精准推荐
•
1 recomendación
•
1,774 vistas
H
hdhappy001
Seguir
BDTC 2013 Beijing China
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 24
Descargar ahora
Descargar para leer sin conexión
Recomendados
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
hdhappy001
杨少华:阿里开放数据处理服务
杨少华:阿里开放数据处理服务
hdhappy001
肖永红:科研数据应用和共享方面的实践
肖永红:科研数据应用和共享方面的实践
hdhappy001
俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkaban
hdhappy001
刘昌钰:阿里大数据应用平台
刘昌钰:阿里大数据应用平台
hdhappy001
徐萌:中国移动大数据应用实践
徐萌:中国移动大数据应用实践
hdhappy001
大數據獲利模式 Ch 2
大數據獲利模式 Ch 2
Hans Shih
DSP 資料科學計畫簡介
DSP 資料科學計畫簡介
codefortomorrow
Recomendados
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
hdhappy001
杨少华:阿里开放数据处理服务
杨少华:阿里开放数据处理服务
hdhappy001
肖永红:科研数据应用和共享方面的实践
肖永红:科研数据应用和共享方面的实践
hdhappy001
俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkaban
hdhappy001
刘昌钰:阿里大数据应用平台
刘昌钰:阿里大数据应用平台
hdhappy001
徐萌:中国移动大数据应用实践
徐萌:中国移动大数据应用实践
hdhappy001
大數據獲利模式 Ch 2
大數據獲利模式 Ch 2
Hans Shih
DSP 資料科學計畫簡介
DSP 資料科學計畫簡介
codefortomorrow
Big Data Taiwan 2014 Opening: Converge . Discover . Monetize
Big Data Taiwan 2014 Opening: Converge . Discover . Monetize
Etu Solution
搜企网
搜企网
36Kr.com
Big data案例
Big data案例
翊廷 廖
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享
Etu Solution
Big data應用讓企業獲利翻倍
Big data應用讓企業獲利翻倍
Weng Wallace
Azure HDInsight 介紹
Azure HDInsight 介紹
Herman Wu
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Etu Solution
Centralizing Data Security with Data Virtualization (Chinese)
Centralizing Data Security with Data Virtualization (Chinese)
Denodo
何謂大數據
何謂大數據
kngchn
Emc keynote 1130 1200
Emc keynote 1130 1200
Chiou-Nan Chen
揭开数据虚拟化的神秘面纱
揭开数据虚拟化的神秘面纱
Denodo
数据的价值和灵魂
数据的价值和灵魂
学峰 司
云计算技术与应用
云计算技术与应用
Yang Guanjun
Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們
Fred Chiang
Big Data vs. Open Data
Big Data vs. Open Data
Fred Chiang
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Etu Solution
大數據的獲利模式
大數據的獲利模式
Chang Chiao Hui
Modernising Data Architecture for Data Driven Insights (Chinese)
Modernising Data Architecture for Data Driven Insights (Chinese)
Denodo
数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅
Denodo
浅谈数据科学
浅谈数据科学
学峰 司
腾讯组织架构及其战略
腾讯组织架构及其战略
microgg
第4届易车产品技术大会 --腾讯产品趋势及用户体系
第4届易车产品技术大会 --腾讯产品趋势及用户体系
renezhu
Más contenido relacionado
La actualidad más candente
Big Data Taiwan 2014 Opening: Converge . Discover . Monetize
Big Data Taiwan 2014 Opening: Converge . Discover . Monetize
Etu Solution
搜企网
搜企网
36Kr.com
Big data案例
Big data案例
翊廷 廖
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享
Etu Solution
Big data應用讓企業獲利翻倍
Big data應用讓企業獲利翻倍
Weng Wallace
Azure HDInsight 介紹
Azure HDInsight 介紹
Herman Wu
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Etu Solution
Centralizing Data Security with Data Virtualization (Chinese)
Centralizing Data Security with Data Virtualization (Chinese)
Denodo
何謂大數據
何謂大數據
kngchn
Emc keynote 1130 1200
Emc keynote 1130 1200
Chiou-Nan Chen
揭开数据虚拟化的神秘面纱
揭开数据虚拟化的神秘面纱
Denodo
数据的价值和灵魂
数据的价值和灵魂
学峰 司
云计算技术与应用
云计算技术与应用
Yang Guanjun
Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們
Fred Chiang
Big Data vs. Open Data
Big Data vs. Open Data
Fred Chiang
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Etu Solution
大數據的獲利模式
大數據的獲利模式
Chang Chiao Hui
Modernising Data Architecture for Data Driven Insights (Chinese)
Modernising Data Architecture for Data Driven Insights (Chinese)
Denodo
数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅
Denodo
浅谈数据科学
浅谈数据科学
学峰 司
La actualidad más candente
(20)
Big Data Taiwan 2014 Opening: Converge . Discover . Monetize
Big Data Taiwan 2014 Opening: Converge . Discover . Monetize
搜企网
搜企网
Big data案例
Big data案例
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享
Big data應用讓企業獲利翻倍
Big data應用讓企業獲利翻倍
Azure HDInsight 介紹
Azure HDInsight 介紹
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Centralizing Data Security with Data Virtualization (Chinese)
Centralizing Data Security with Data Virtualization (Chinese)
何謂大數據
何謂大數據
Emc keynote 1130 1200
Emc keynote 1130 1200
揭开数据虚拟化的神秘面纱
揭开数据虚拟化的神秘面纱
数据的价值和灵魂
数据的价值和灵魂
云计算技术与应用
云计算技术与应用
Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們
Big Data vs. Open Data
Big Data vs. Open Data
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動
大數據的獲利模式
大數據的獲利模式
Modernising Data Architecture for Data Driven Insights (Chinese)
Modernising Data Architecture for Data Driven Insights (Chinese)
数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅
浅谈数据科学
浅谈数据科学
Similar a 薛伟:腾讯广点通——大数据之上的实时精准推荐
腾讯组织架构及其战略
腾讯组织架构及其战略
microgg
第4届易车产品技术大会 --腾讯产品趋势及用户体系
第4届易车产品技术大会 --腾讯产品趋势及用户体系
renezhu
互联网海量运维 20130807
互联网海量运维 20130807
drewz lin
Greenplum技术
Greenplum技术
锐 张
虎牙直播用户增长中台-算法与工程实践 (1).pdf
虎牙直播用户增长中台-算法与工程实践 (1).pdf
HongliangLv1
社交化电子商务 网易科技五道口沙龙第一期
社交化电子商务 网易科技五道口沙龙第一期
网易科技
美团技术沙龙03 - 实时数据仓库解决方案
美团技术沙龙03 - 实时数据仓库解决方案
美团点评技术团队
浩腾电商 · 家具业电子商务解决方案
浩腾电商 · 家具业电子商务解决方案
justanson
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
markmind
數據、洞察、設計 如何結合數據改善政府數位服務-蔡明哲
數據、洞察、設計 如何結合數據改善政府數位服務-蔡明哲
悠識學院
如果您来自广告公关公司
如果您来自广告公关公司
Phil Ren
美团数据平台之Kafka应用实践和优化
美团数据平台之Kafka应用实践和优化
confluent
大型Sns网站数据库设计
大型Sns网站数据库设计
Tony Deng
传媒梦工场分享
传媒梦工场分享
Benimaru ZHANG
国内主流开放平台发展状况与盈利模式分析报告
国内主流开放平台发展状况与盈利模式分析报告
zubin Jiang
欧赛斯山丽网络整合营销提案
欧赛斯山丽网络整合营销提案
hpeter2002
大数据驱动在线用户行为分析与营销 20151210 v1.1(正式版)
大数据驱动在线用户行为分析与营销 20151210 v1.1(正式版)
Yu Zhang
云存储与虚拟化分论坛 基于云计算的海量数据挖掘
云存储与虚拟化分论坛 基于云计算的海量数据挖掘
Riquelme624
Toutiao 2013 Jan Series B Funding Deck
Toutiao 2013 Jan Series B Funding Deck
Matthew Brennan
腾讯开放平台 Hellena
腾讯开放平台 Hellena
Shaoning Pan
Similar a 薛伟:腾讯广点通——大数据之上的实时精准推荐
(20)
腾讯组织架构及其战略
腾讯组织架构及其战略
第4届易车产品技术大会 --腾讯产品趋势及用户体系
第4届易车产品技术大会 --腾讯产品趋势及用户体系
互联网海量运维 20130807
互联网海量运维 20130807
Greenplum技术
Greenplum技术
虎牙直播用户增长中台-算法与工程实践 (1).pdf
虎牙直播用户增长中台-算法与工程实践 (1).pdf
社交化电子商务 网易科技五道口沙龙第一期
社交化电子商务 网易科技五道口沙龙第一期
美团技术沙龙03 - 实时数据仓库解决方案
美团技术沙龙03 - 实时数据仓库解决方案
浩腾电商 · 家具业电子商务解决方案
浩腾电商 · 家具业电子商务解决方案
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
數據、洞察、設計 如何結合數據改善政府數位服務-蔡明哲
數據、洞察、設計 如何結合數據改善政府數位服務-蔡明哲
如果您来自广告公关公司
如果您来自广告公关公司
美团数据平台之Kafka应用实践和优化
美团数据平台之Kafka应用实践和优化
大型Sns网站数据库设计
大型Sns网站数据库设计
传媒梦工场分享
传媒梦工场分享
国内主流开放平台发展状况与盈利模式分析报告
国内主流开放平台发展状况与盈利模式分析报告
欧赛斯山丽网络整合营销提案
欧赛斯山丽网络整合营销提案
大数据驱动在线用户行为分析与营销 20151210 v1.1(正式版)
大数据驱动在线用户行为分析与营销 20151210 v1.1(正式版)
云存储与虚拟化分论坛 基于云计算的海量数据挖掘
云存储与虚拟化分论坛 基于云计算的海量数据挖掘
Toutiao 2013 Jan Series B Funding Deck
Toutiao 2013 Jan Series B Funding Deck
腾讯开放平台 Hellena
腾讯开放平台 Hellena
Más de hdhappy001
詹剑锋:Big databench—benchmarking big data systems
詹剑锋:Big databench—benchmarking big data systems
hdhappy001
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
hdhappy001
袁晓如:大数据时代可视化和可视分析的机遇与挑战
袁晓如:大数据时代可视化和可视分析的机遇与挑战
hdhappy001
肖康:Storm在实时网络攻击检测和分析的应用与改进
肖康:Storm在实时网络攻击检测和分析的应用与改进
hdhappy001
夏俊鸾:Spark——基于内存的下一代大数据分析框架
夏俊鸾:Spark——基于内存的下一代大数据分析框架
hdhappy001
魏凯:大数据商业利用的政策管制问题
魏凯:大数据商业利用的政策管制问题
hdhappy001
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
hdhappy001
王峰:阿里搜索实时流计算技术
王峰:阿里搜索实时流计算技术
hdhappy001
钱卫宁:在线社交媒体分析型查询基准评测初探
钱卫宁:在线社交媒体分析型查询基准评测初探
hdhappy001
穆黎森:Interactive batch query at scale
穆黎森:Interactive batch query at scale
hdhappy001
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
hdhappy001
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
hdhappy001
刘诚忠:Running cloudera impala on postgre sql
刘诚忠:Running cloudera impala on postgre sql
hdhappy001
李战怀:大数据背景下分布式系统的数据一致性策略
李战怀:大数据背景下分布式系统的数据一致性策略
hdhappy001
冯宏华:H base在小米的应用与扩展
冯宏华:H base在小米的应用与扩展
hdhappy001
堵俊平:Hadoop virtualization extensions
堵俊平:Hadoop virtualization extensions
hdhappy001
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
hdhappy001
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
hdhappy001
Ted yu:h base and hoya
Ted yu:h base and hoya
hdhappy001
Raghu nambiar:industry standard benchmarks
Raghu nambiar:industry standard benchmarks
hdhappy001
Más de hdhappy001
(20)
詹剑锋:Big databench—benchmarking big data systems
詹剑锋:Big databench—benchmarking big data systems
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
袁晓如:大数据时代可视化和可视分析的机遇与挑战
袁晓如:大数据时代可视化和可视分析的机遇与挑战
肖康:Storm在实时网络攻击检测和分析的应用与改进
肖康:Storm在实时网络攻击检测和分析的应用与改进
夏俊鸾:Spark——基于内存的下一代大数据分析框架
夏俊鸾:Spark——基于内存的下一代大数据分析框架
魏凯:大数据商业利用的政策管制问题
魏凯:大数据商业利用的政策管制问题
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
王峰:阿里搜索实时流计算技术
王峰:阿里搜索实时流计算技术
钱卫宁:在线社交媒体分析型查询基准评测初探
钱卫宁:在线社交媒体分析型查询基准评测初探
穆黎森:Interactive batch query at scale
穆黎森:Interactive batch query at scale
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
刘诚忠:Running cloudera impala on postgre sql
刘诚忠:Running cloudera impala on postgre sql
李战怀:大数据背景下分布式系统的数据一致性策略
李战怀:大数据背景下分布式系统的数据一致性策略
冯宏华:H base在小米的应用与扩展
冯宏华:H base在小米的应用与扩展
堵俊平:Hadoop virtualization extensions
堵俊平:Hadoop virtualization extensions
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
Ted yu:h base and hoya
Ted yu:h base and hoya
Raghu nambiar:industry standard benchmarks
Raghu nambiar:industry standard benchmarks
薛伟:腾讯广点通——大数据之上的实时精准推荐
1.
腾讯广点通 大数据之上的实时精准推荐 腾讯 数据平台部 精准推荐中心 薛伟 2013.12
2.
目录 • • • • 简介 数据 算法 系统
3.
目录 • • • • 简介 数据 算法 系统
4.
广点通简介(e.qq.com) • 广点通是基于腾讯大社交平 台的效果广告营销产品,在 腾讯大社交平台的海量用户 积累的基础上,运用大数据 技术,进行以人为核心的数 据挖掘,实现精准的广告推 荐。 • 腾讯精准推荐平台是广点通 背后的支撑系统之一 –
数据海量 – 系统实时 – 算法精准
5.
目录 • • • • 简介 数据 算法 系统
6.
数据的基本特点 • 典型的大数据 – 大量(Volume):
腾讯QQ月活跃用户超过8亿,在线人际关系链超 1000亿;Qzone空间月活跃用户数超6亿 – 高速(Velocity): Qzone空间日均相册上传超过4亿,日写操作总数 过10亿 – 多样(Varity): 数据种类多(日志、视频、图片、LBS信息等),非 标准化数据比例高 – 价值(Value):价值密度低,商业价值高
7.
从推荐的视角看数据 交叉效应: 用户-物品, 用户-推荐位,
物品-推荐位, 用户-物品-推荐位的相似度 物品 自身属性: 素材特征、文本Tag 类别、价格、成交量 定向规则 、投放预算 生命周期等 派生属性: 归属的行业分类等 用户 推荐引擎 基础数据:年龄、地域、性别 内容: UGC内容:博客、微博内容等 行为:浏览 /收藏/ 喜欢/ 消费/分享等 场景:时间、地点 关系链:好友/朊友/微博关系链 推荐上下文 推荐上下文 属性: 推荐位:首页,IM,详情页… 对应页面内容,页面位置排序… 时间、地点、环境变量等…
8.
用户数据 用户画像 基础属性 兴趣爱好 用户TAG 用户状态 年龄 游戏 iPhone 新婚 性别 APP Nike 育儿 地域 电商 DNF 学历 汽车 BMW 付费人群 … 职业 600余类目 … 百万TAG … … • 基于社会关系的基础属性校准;基于tag统一化和语义分类的兴趣计 算;定向人群挖掘体系;…
9.
用户数据 QQID用户画像 移动设备用户画像 离线 实时 离线 实时 用户Tag 用户长期兴趣 用户基础属性 … 用户实时Tag 用户实时兴趣 … LBS定位数据 移动app行为 用户长期兴趣 … LBS实时定位数据 移动app实时行为 用户实时兴趣 … 用户画像的移动化和实时化
10.
物品(广告)数据 • 广告主提供的特征: – 类目,文字描述,价格, 定向规则等 •
爬取和计算的特征 – 广告素材图片基本特征 (亮度,饱和度,色彩度, 对比度,尖锐度等) – 图像相似度 – 订单类目预测 – DNN发现深度特征 • 广告特征的实时化 亮度标准差=3 亮度标准差=8 亮度标准差=16 对于同一人群,相似图片CTR接近
11.
上下文数据 • • • • • 推荐位置变量:PC页面、PC客户端、无线侧 环境变量:雾霾、下雨、紫外线 时间变量:早中晚、周末、假日 空间变量:LBS数据 其他变量:实时行为、状态 …
12.
目录 • • • • 简介 数据 算法 系统
13.
算法-概述 • 推荐本质上是一种个性化排序 Ranking= scoring+sorting+filtering •
特定场景如广点通,排序准确+预测值精准 AD Ranking = scoring+PCTR+filtering ECPM=CTR*CPC • 指导思想:针对丌同的推荐场景,采用丌同的数据和丌同 的算法策略
14.
算法-谱系 • 用户实时行为 规则算法 – 关联,重定向 (重定向,
关联规则,热度,…) • 老用户-老广告 – 经典模型效果好 基于内容的算法 协同过滤算法 (基于邻域,各种矩阵分解,…) 图算法 (最近邻,各类图挖掘,…) 分类算法 (LR,RDT,GBDT,NN,…) • 老用户-新广告 混合算法 – 借助广告相关的标签,文 本,类目,以及提取的广 告特征等 • 新用户-老广告 – 借助用户分群,转移学习 等 • 新用户-新广告 – 寻找相关信息量
15.
大数据对算法的挑战 • 挑战-精准投放 – – – – – – 1‰ 用户-广告的评价/行为矩阵过于稀疏,密度千分位,甚至更低 1-3 用户看到广告的曝光机会仅有1-3次/天 3-9 大部分广告的生命周期仅有3-9天左右 50 单次推荐请求控制时间50ms以内 10,000 +
通常单个推荐位可投广告在10万级别以上 10 bn+ 日均推荐请求量可达100亿次+ • 应对 – 高性能的学习算法:分布式幵行的LR,邻域CF,MF等算法 – 场景定制化的用户画像和广告特征提取
16.
算法示例 – Logistic
Regression • 算法模型 P logit P= ln [, ] 1 P logit P f ( x1 , x2 , xk ) logit P=b0 b1 x1 b2 x2 bk xk
17.
算法示例 – Logistic
Regression • 特征构成 用户 + 用户基本属性,行为属性、 兴趣标签.. 广告 Tag、图像特征、 类目、行业.. + 推荐位 位置特征信息... • 模型训练 – Spark上的分布式幵行的高维LR算法 – 支持高维特征+大训练数据集 – 15分钟增量更新线上模型 + 其他 = 是否点击 上下文 LBS,时间, 节假日,天气... 1,0
18.
目录 • • • • 简介 数据 算法 系统
19.
大数据对系统的挑战 • • • • • • • • • 高效率 高吞吐率 低延迟 弹性 灵活性 容错/容灾 朋务质量保证 低运维成本 ……
20.
系统-腾讯分布式数据仓库(TDW) IDE 集成开发 任务统一调度 查询引擎 TDBANK 数 据 采 集 计算引擎 Lhotse Hive&Pig MapReduce HADOOP 存储引擎 HDFS 基于开源hadoop,hive等进行了大量优化和改造 单集群4400台,存储容量100PB 下一代TDW集成YARN,支持多种幵行计算框架(MapReduce, Spark等),同时提供更高效的存储结构
21.
系统-腾讯实时计算平台(TRC) • TDBank 广告投放系统 – 日接入消息1000+亿 – 平均采集延迟1-2秒 • TDProcess –
日计算量10000+亿 – 秒级延迟 • TDE – 日读写4000+亿 – 存储量3T – 毫秒级延迟 • 实时推荐引擎 – – – – 日请求100+亿 日推荐10000+亿 推荐延迟50ms以内 模型推送延迟分钟级 TDBank 数据采集 TDProcess 流式计算 实时推荐 实时查询 引擎 TDEngine 分布式存储引擎 分布式计算平台 算法模型+用户画像
22.
实时系统助力精准推荐 • 原始数据实时化 – 用户画像数据实时接入和计算 –
广告信息的实时接入和计算 – 上下文信息的实时采集和计算 • 训练数据流式生成 – 点击/曝光数据实时接入,流式关联特征数据,生成训练数据 • 流式模型更新 – 直接用流式生成的训练数据来增量更新模型 • 实时推荐 – 实时访问实时更新的用户,广告,上下文数据 – 实时完成推荐的计算
23.
Q&A
Descargar ahora