注:本PPT源于2013年11月第三届甲骨文技术嘉年华,由支付宝DW/BI高级架构师周伟林供稿。我们期待支付宝的大数据技术已经上升到了一个新的高度,但是我们还是想分享这个PPT,让大家知道一个风靡全球的支付系统背后使用了什么样的大数据技术,支付宝大数据技术的实践对于新访客来说是一个参考。
案文如下:
支付宝之所以受到大家的喜爱,更重要的是支付宝的安全机制和易用性。不过,支付宝并不是业内唯一的支付产品,现在微信也推出了小额支付。周伟林表示,支付宝的安全机制高于微信。比如大家在一个场地开会。通过后台数据分析,认为基于该位置的交易是熟人之间的交易,不需要特别验证,背后有强大的技术支持。例如,在一个社区中,基于社区的地理位置信息,人们之间的交易被认为是家庭交易。
目前,支付宝平台每年的数据增长超过了以往所有年份的总和。
不同的业务阶段导致不同的数据需求。商业模式在开始的时候责任高度,随着业务的增长对创新的要求也更高。
数据需求分析
当前业务阶段的特征:
1.“一览无余的山头不多”,面临创新的压力;
2.“生孩子容易,养孩子难”,如何做精细化运营。
当前数据需求的特征:
1.主要用户不再是管理层(固定需求),而是一线学生(不确定需求);
2.实现手段,不仅仅是报表(T+1天),数据需要连接到生产系统(T+1秒)。
目前的主要矛盾:无法快速响应日常需求。
1.数据分析师/ETL工程师无法满足日益增长的数据需求,成为资源瓶颈;
2.精细化运营导致数据粒度下降,业务发展导致数据呈指数级增长,传统解决方案无法应对;
3.缺乏数据运营的业务支撑平台。
传统BI产品存在的几个问题:
1.对大数据支持不足:数十亿数据的Ad-hoc玩不了;
2、有学习成本:更专业,分析师也需要培训才能更好的使用;
3、牌照贵:按账户数收费,不能大面积开通;
4.需要二次开发:不能被一线人员直接使用,通常需要二次包装,基本没有技术支持。
理念:人人都能用的大数据分析工具。
工具让数据的使用变得更简单,每个人都可以使用数据,这是数据运营的基础。如果数据逻辑没有可视化,很难说明支付宝结合用户的使用习惯,开发了一套解决瓶颈问题的工具。如何让工具让数据更容易使用?从内部角度看对工具的迫切需求,主要是因为数据越来越多,传统工具很难支撑需求。
HiGo功能介绍
演示环境描述:
数据量:18亿条记录,60个字段,占用空 1.4T
机器数量:3台,96G内存,2T SATA磁盘,6核*2 CPU。
有40个碎片,每个碎片
4600万张唱片
任意条件统计汇总:求浙江、广东两省4钻、5钻店铺数量,申请贷款金额之和,申请贷款次数之和。"
任意条件多维度分组统计:从一年的贷款数据中,看到淘宝和天猫每天申请的贷款总额和申请的贷款笔数。
任意条件下的多维分组统计,包括count distinct:从一年的贷款数据中,看到每天从淘宝和天猫申请贷款的用户数。
案例时:从一年的贷款数据中,我们可以看到淘宝和天猫每天申请的金额在100W以上的大额贷款总额,以及所有贷款总额(包括小额)。
以下是详细的PPT介绍:
结束。
温馨提示:注:内容来源均采集于互联网,不要轻信任何,后果自负,本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权,请给我们来信(j7hr0a@163.com),我们会及时处理和回复。
原文地址"支付宝的大数据做什么的,支付宝大数据应用":http://www.guoyinggangguan.com/xedk/127564.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码

