对金融大数据存在意义的思考（一）之渠道产品金融大数据

目标读者

java 开发工程师 与 渠道业务人员

场 景

不少同学在疑惑&＃xff1a;金融大数据团队能给自己所在的产品线提供什么服务&＃xff1f;

背 景

部门非大数据团队主流开发语言是 java&＃xff0c;存储用 mysql 。目前&＃xff0c;总数据量在 T B 级别&＃xff0c;业务系统刚起步&＃xff0c;数据量确实不多&＃xff0c;业务对数据实时性要求也不高&＃xff0c;大数据团队能干的活&＃xff0c;java webers 好像也可以干

分 析

在往下讲之前&＃xff0c;先普及两个常识&＃xff1a;

• 美的金融门户 &＃61; 美信入口美的金融 app &＃43; 独立美的金融app &＃43; 美的金融pc端

• mysq一般只能处理一亿条记录以内的数据&＃xff1a;超过一个亿&＃xff0c;即使做了分库、分表与读写分离等优化后&＃xff0c;查询性能也是极低的 - 一个一般业务负责度的查询可能需要10s才能出结果

接下来&＃xff0c;我们从技术与业务的角度&＃xff0c;粗略描述一下当前金融大数据团队旗下魔镜产品能够给渠道产品&＃xff08;就是美的金融门户啦&＃xff09;提供什么服务

技术上

从海量数据的存储与分析角度来展开&＃xff0c;先谈‘存储‘。来看一张魔分生产环境的报表 &＃xff1a;

上面这张报表简要地统计与分析了用户通过美信使用美的金融app的情况。有同事要拍砖了&＃xff0c;这么简单的报表要你大数据团队做吗&＃xff0c;随便找一个java工程师&＃xff0c;写几个查询语句、关联几张表不就可以轻松搞定了吗&＃xff1f; 额&＃xff0c;一起来看看这张报表背后的数据 - 目前我们只接入了美信入口美的金融app段的数据&＃xff1a;

日 增 &＃xff1a;18,1028 条 总 量 &＃xff1a;362,0572 条
保守估计一年后的数据量 &＃xff1a; 6607,5220 条

注 意&＃xff0c;这个只是美信入口美的金融app的数据&＃xff0c;我们还有独立app与pc端的数据&＃xff08;当前没有接入&＃xff0c;见上文常识&＃xff09;。保守估计一年后的数据量在 1 亿这个数量级&＃xff08;当然&＃xff0c;业务发展的快的话&＃xff0c;可能是 10亿&＃xff0c;甚至100亿级别&＃xff09;&＃xff1a;这样的数据量 mysql 是没法有效存储的。
再简单聊一下分析&＃xff1a;用大数据技术&＃xff0c;你要考虑分布式海量数据存储&＃xff0c;大规模分布式并行计算&＃xff0c;要理解Hadoop和Spark底层的复杂技术原理&＃xff0c;解决各种大数据场景下出现的问题&＃xff0c;最后才能针对海量数据&＃xff08;10亿、100亿级别甚至以上&＃xff09;产出一些普通的业务报表和分析报告。

好了&＃xff0c;总结一下&＃xff1a;单从做报表分析来说&＃xff0c;海量数据的报表分析也不简单 - 而这&＃xff0c;用传统的java web技术也根本做不到&＃xff1f;数据没法存&＃xff0c;更没法快速的取。但是&＃xff0c;这张报表的业务价值很大&＃xff1f;有多少用户在使用我们的美的金融app、使用频率等数据指标&＃xff0c;产品运营人员是肯定需要掌握的。

业务上

这里结合魔分产品的一个核心功能‘渠道分析’来简单聊一下
渠道分析 – 降低产品推广成本

渠道产品或者说渠道团队的梦想是什么&＃xff1f;大胆猜测一下&＃xff1a;让更多的有效用户使用美的金融app与pc&＃xff08;这样就可能贷更多的钱粗去从而赚更多的钱啦&＃xff09;&＃xff01;
现实来了&＃xff1a;怎么获取、吸引更多的用户使用渠道的产品呢&＃xff1f;要打广告&＃xff0c;要宣传&＃xff0c;专业一点的说法是&＃xff1a;需要在 百度、广告联盟、社交媒体等等外部或者内部渠道投放广告。大家知道外部渠道广告的投放都是需要真金白银的支持&＃xff0c;所以对获客渠道的分析至关重要&＃xff0c;它直接决定我们能否将一定的预算效果最大化。比如&＃xff0c;我现在广告预算是 10w&＃xff0c;在百度、360还是其他渠道投放广告好呢&＃xff1f;这个通过我们 ‘魔分’产品的渠道分析功能就可以知道&＃xff1a;

说到这里&＃xff0c;顺便发散一句&＃xff0c;作为营销鼻祖的可口可乐&＃xff0c;最近废除已执行24年的CMO(首席营销官)&＃xff0c;设立CGO - Chief Growth Officer &＃xff1f;首席增长官。

总 结

1. 技术上&＃xff1a;单从做报表分析来说&＃xff0c;海量数据的报表分析也不简单 - 而这&＃xff0c;用 java web技术也根本做不到&＃xff1f;数据没法存&＃xff0c;更没法快速的分析与展现。
2. 业务上&＃xff1a;渠道分析-魔镜的这个小功能能直接降低渠道产品的推广成本。

以上只是结合魔镜产品粗略地聊了一下大数据团队对渠道产品运营的重要意义。大家知道大数据的杀手锏是预测 - 关于这个话题&＃xff0c;我们将在后续结合真实的业务场景与大家分享&＃xff0c;敬请关注。

参 考

mysql海量数据的存储和访问 轶名
用户行为分析最重要的3个点 by 张溪梦
营销理论分析&＃xff1a;为何首席增长官会取代首席营销官&＃xff1f; by TalkingData 林逸飞