Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

短视频和云存储

399 visualizaciones

Publicado el

短视频和云存储

Publicado en: Internet
  • Sé el primero en comentar

短视频和云存储

  1. 1. 短视频与云存储 李道兵 <lidaobing@qiniu.com> 七牛云存储
  2. 2. Outline • 短视频行业的痛点 • 云存储行业如何解决这些痛点 • 数据在这个时代的意义
  3. 3. 2014: 短视频爆发年 • 美拍 • GIF 快手 • 逗拍 • 微信视频 • 小偶 • 玩拍 • 微拍 • 秒拍 • 小看 • 小影 • 乐秀 • 美视 • 多拍 • 优酷美点 • 爱拍 • 趣拍
  4. 4. 为什么? • 带宽 – 移动 4G 开始推广,直接把一半多的手机用户 从 2G 时代拉到了 4G 时代 – 手机流量包增加 : 现在手机普遍月流量在 1GB 以上, 3GB 以上的也不罕见 – 家用带宽的增加, 10Mb ~ 100Mb 成为家用带 宽的主流
  5. 5. 为什么? • 娱乐为王的时代已经来临 – 硬件的革新 : 从照相机,到数码相机,到手机拍照 ,再到手机视频,手机像素增多,质量变高,减少 了从拍摄到分享的时间,提高了体验 – 产品的革新 : 模板,配乐,大头,。。。 – 从论坛到微博和微信的社交模式的转变 • 实名社交和熟人社交:可以跟你的朋友分享你的成果和 感受,享受你跟朋友的互动 • 传播效应更显著、且质量与转发量成正相关,让大家努 力创作高质量内容,且高转发下有更高的荣誉感
  6. 6. 短视频产品的痛点 • 疯狂增长 – 如果你对产品打磨得足够好,那么用户使用量 会疯狂增长,比如逗拍上线几天后就成为 iOS 免费榜第一名 – 疯狂增长会给你的全线带来压力,数据库,缓 存,业务逻辑,存储,上传,分发都会受到很 大的冲击
  7. 7. 短视频的痛点 • 有压力,常规的服务如何解决? – 数据库 : 尽量使用 SSD 硬盘,增大数据库处理 能力 – 缓存层 : memcache 或者 redis ,水平扩张 – 业务层 : 消除服务状态,然后水平扩张 – 接入层 : nginx/tengine ,水平扩张,用 heartbeat 或者 LVS 来做高可用 – 网络 : 尽量使用 BGP 机房,如果只走元数据, 那么流量成本还可以接受 • 麻烦的是数据的部分
  8. 8. 短视频产品的痛点 • 上传 – 短视频上传大部分都是移动端,网络不稳定, 10s 的视频需要 1M 以上, 60s 的需要 6M 以 上,一次性上传成功率很低,最好能设计一个 分片 – 不使用分片上传 1M 文件的失败已经很高了, 6M 或者更大的图片失败率就会上升到很难接 受的水平。 – 如何设计一个好的分片上传方法会成为一个难 点
  9. 9. 短视频产品的痛点 • 上传 – 网络覆盖问题:数据放在高规格 BGP 机房是 一个不划算的事情,那么如何保证每个客户都 能得到一个很好的上传体验呢? – 域名劫持问题 : 这个比较简单,准备多套上传 域名或者直接通过 IP 来上传都是很好的应对方 式
  10. 10. 短视频产品的痛点 • 存储 – 我用什么存储软件? mogilefs 还是 fastdfs, 我的团队是否有足够的经验来运维它? – 我需要准备多大的存储?如果要支持 1PB 就需 要 70 台 2U12 盘的存储机(按 3 份冗余计算 ) – 我的运维团队是否准备好了?流量冲击,磁盘 损坏,机器当机,交换机故障,。。。
  11. 11. 短视频的痛点 • 数据处理集群 – 截图:短视频截一个图作为封面 – 水印:图片和视频都要水印,在服务器打水印 还是在客户端打好传上来 – 审查 : 审查一般外包给第三方,发送原始视频 会占用大量带宽,导致审查效率下降,是否先 把视频裁剪后再来审查? – 流式播放 : 如果视频比较长,直接播放的效果 不太好,是否要用 HLS 模式来播放?
  12. 12. 短视频的痛点 • 如果需要一个处理集群?什么架构?多大 容量?如何快速扩容?如何避免有人利用 CVE 构造有问题的视频来入侵?
  13. 13. 短视频的痛点 • 分发 – 挑选哪家 CDN ? • 有没有独立的多媒体平台? • 是否支持 mp4 拖拽? • 是否存在多次回源,到我的机房是否有连通性问题 ? • 大文件回源是不是有优化? • 小运营商覆盖情况如何?
  14. 14. 总结 • 传统架构的瓶颈常在数据库,但随着 SSD 的 广泛应用,数据库的处理能力已经提升了 2-3 个数量级,架构瓶颈反而容易出在数据存储层 面 • 数据上传 – 如何设计分片?如何保证网络覆盖?如何降低流量 成本?如何防止 DNS 劫持? • 数据存储 – 使用何种存储技术?如何避免一次性投入过高?如 何运维大规模集群?
  15. 15. 总结 • 数据处理 – 如何设计处理集群?如何避免高峰冲击?如何 降低处理成本? • 数据分发 – 如何拿到好的 CDN 节点?如何防止域名劫持 ? • 其实不是说以上问题研发团队都没法解决 ,更多的情况是在急剧增长的情况下,你 不舍得把你最好的技术人员放在这上边
  16. 16. 云存储行业能帮上什么忙? • 数据上传 – 如何设计分片?如何保证网络覆盖?如何降低 流量成本? • 分片 : 很多云存储都支持 • 网络覆盖 : 上传节点很多,覆盖面广 • 降低流量成本 : 经常是免费
  17. 17. 云存储行业能帮上什么忙? • 数据存储 – 使用何种存储技术?如何避免一次性投入过高 ?如何运维大规模集群? • 使用云存储后这些都不用担心了, yeah
  18. 18. 云存储行业能帮上什么忙? • 数据处理 – 如何设计处理集群?如何避免高峰冲击?如何降低 处理成本?如何避免安全漏洞? • 很多云存储都提供音视频处理服务,而且由于 云存储本身处理容量大,你的峰值冲击对他们 就很小了 • 而且云存储供应商有独立的安全团队来做安全 保障 • 音视频转码一般按使用量来付费,通常成本比 自建便宜,毕竟云提供商的机器利用率更高。
  19. 19. 云存储行业能帮上什么忙? • 审查 – 我们就帮客户设计过审查用的转码 : 双倍速, 分辨率 150x150, 去掉声音,降低码率, 10s 的视频只需 40KB 左右 – 审查员一个网页上可以放多个视频,一起播放 ,大幅度提高了审查速度 – 降低码率之后审查所需的带宽也大幅度下降, 审查网页更流畅,唐马儒表示审查体验大幅度 提高
  20. 20. 云存储行业能帮上什么忙? • 数据分发 – 如何选择好的 CDN ?如何防止域名劫持? • 云存储 – 帮你挑选 CDN – 智能调度优化 CDN ,避免 CDN 故障时服务不 可用 – 多域名甚至 IP 下载来避免域名劫持
  21. 21. 总结 • 云存储的发展已经足够成熟,围绕数据的 大部分需求都能够解决。 • 一个好的云存储供应商更会针对客户的需 求,来帮助客户设计解决方案,一起来把 问题解决掉
  22. 22. 数据的意义 • 短视频这波风潮的兴起可以说恰好赶在了 移动、宽带、娱乐的风口上,也可以说是 必然的 • 带宽的持续提升正在改变我们的沟通方式 – 从文字到图片,到声音,再到视频,随着技术 的进步,也许会有更多的沟通形式出现,比如 全息投影或者虚拟世界 – 新的沟通方式会催生很多新的产品出现
  23. 23. 数据的意义 • 我们每个人产生数据的能力越来越强 – 每天你拍的照片、录的视频 – 每天你访问了哪些网站?去了哪些地方? – 每天你的身体状况 ( 智能穿戴设备 ) ,你的车 辆状况,你的房间的温度湿度,监控探头 – 还有大量的第三方摄像头在看着你? • 这些数据能变成价值么?我不知道未来会 怎样?但我对答案很乐观。
  24. 24. 数据的意义 • Google 的出现把互联网成功从 1.0 升级 到 2.0 – 收集网页变成搜索功能来满足用户 – 收集用户的搜索和访问行为变成广告投放引擎 来满足客户 – 这些都是数据价值的体现 – 值多少: 3000 多亿美金
  25. 25. 数据的意义 • 未来的世界,数据越来越重要 – 你能不能贷款买房,决定的不是你的客户经理 ,而是背后的数据 – 你获取用户的能力,不再仅仅决定于你的智慧 和直觉,而更多是你的数据挖掘能力 – 你的公司的盈利提升,也将更多取决于你的在 数据上能挖掘得多深。
  26. 26. 此处是广告 • 七牛的目标是做成为一站式数据平台,帮 助我们的客户更好地解决他们的数据收集 、存放、处理、分析、分发的任务。 • 如果你认同数据的价值,认同七牛的理念 ,请联系我们,我们正在招人 hr@qiniu.com

×