摘要&＃xff1a;搭建这个平台最费时耗力的事莫过于对批、流作业的编排&＃xff0c;作业组织管理以及任务调度了。但是这一切&＃xff0c;用DAYU的数据开发功能几个任务可通通搞定。
大多数电商类企业都会搭建自己的个性化推荐系统&＃xff0c;利用自己拥有的用户数据、商品数据、用户行为数据以及各种维度计算得来的标签画像计算用户偏好&＃xff0c;推荐最佳商品给用户&＃xff0c;最大化地促进交易。
一个典型的推荐系统包括批处理计算、实时处理层、推荐应用3部分&＃xff0c;是典型的Lamda架构。
搭建这个平台最费时耗力的事莫过于对批、流作业的编排&＃xff0c;作业组织管理以及任务调度了。但是这一切&＃xff0c;用DAYU的数据开发功能几个任务可通通搞定。当然&＃xff0c;你可能会说&＃xff0c;不是有专门的个性化推荐云服务吗&＃xff0c;直接用它不香吗&＃xff1f;这里我们不比赛举杠铃&＃xff0c;如果企业还不具备利用各种推荐算法的能力&＃xff0c;那直接花点钱买推荐服务是最佳选择&＃xff1b;但是你如果想最大化地、持续地优化推荐算法的效果&＃xff0c;框架还是自己搭比较靠谱。这里给一个例子&＃xff0c;展示如何利用DAYU快速完成一个简单的推荐系统。除了DAYU的数据开发&＃xff0c;还需要搭配华为云的DLI、DIS、MRS-HBase。
首先介绍下DAYU开发的两种作业类型&＃xff1a;
- 批作业
批作业只能被调度触发&＃xff0c;任务执行一段时间必须结束&＃xff0c;换句话说就是任务不能无限时间持续运行。作业是多个算子&＃xff08;一个也可以&＃xff09;组成的Pipeline&＃xff0c;Pipeline作为一个整体被调度。 - 实时作业
实时作业这个名字其实不准确&＃xff0c;实际上它可以是一个流、批混合的作业&＃xff0c;也可以是个纯实时流处理作业&＃xff0c;也可以是个单纯的批作业。作业是由多个算子组成的Pipeline&＃xff0c;相对批作业&＃xff0c;实时作业中每个算子可单独被配置调度策略&＃xff0c;而且算子启动的任务可以永不下线&＃xff0c;这样就可以调度那些always online的Flink、SparkStreaming流处理作业。在实时作业里&＃xff0c;带箭头的连线仅代表业务上的关系&＃xff0c;而非任务执行流程&＃xff0c;更不是数据流。
这个推荐系统的后台就使用实时作业来实现&＃xff0c;一个流、批混合的作业&＃xff0c;直接给个全景图&＃xff1a;
这里涵盖了一个简单推荐系统的主要计算流程。更多算法的任务流程这里没有完全展示出来&＃xff0c;例如基于模型的算法、基于深入学习的推荐算法&＃xff0c;也不包含各种推荐指标的计算过程&＃xff0c;有兴趣的同学可以百度学习。
整个任务中包括9组数据处理流程&＃xff0c;6个批作业流程&＃xff0c;3个实时作业&＃xff1a;
批处理流程
从上到下&＃xff0c;依次计算&＃xff1a;
1&＃xff09;基于个用户特征、标签计算推荐列表
周期&＃xff1a;每天一次
计算&＃xff1a;每天通过CDM从RDS抽取用户数据到DLI&＃xff0c;基于每个用户的基本信息&＃xff0c;年龄、性别、职业、收入、地域等等各种属性信息&＃xff0c;以及来自360度画像系统的标签信息&＃xff0c;生成推荐列表&＃xff0c;保存到HBase中。
2&＃xff09;基于商品的相似性特征&＃xff0c;计算推荐列表
周期&＃xff1a;每天一次
计算&＃xff1a;每天通过CDM从RDS抽取新增商品信息到DLI&＃xff0c;然后计算出来的基于商品相似特征的推荐列表&＃xff0c;存入HBase中。
3&＃xff09;计算当天用户的偏好&＃xff0c;生成日推荐列表
周期&＃xff1a;每天一次
计算&＃xff1a;通过DIS dump转储任务&＃xff0c;把网站实时搜集的用户行为信息转储到OBS中&＃xff0c;通过一批Spark算法&＃xff08;批量的用户协同、商品协同、基于内容相似性、LR等算法&＃xff09;&＃xff0c;基于一天的行为数据计算推荐列表。然后把列表推到HBase中。
4&＃xff09;计算本周用户的偏好&＃xff0c;生成周推荐列表
周期&＃xff1a;每天一次
计算&＃xff1a;计算行为同上&＃xff0c;区别是基于一周的行为数据计算推荐列表。
5&＃xff09;计算3个月内的偏好&＃xff0c;生成长期偏好推荐列表
周期&＃xff1a;每天一次
计算&＃xff1a;计算行为同上&＃xff0c;区别是基于3个月的行为数据计算推荐列表。
6&＃xff09;计算流行产品的列表
周期&＃xff1a;每天或者数小时
计算&＃xff1a;通过用户总体商品的点击、搜索、评分等行为&＃xff0c;基于OBS上用户的行为数据&＃xff0c;按类别计算热门商品Top50。这个列表也可作为补齐列表&＃xff0c;当其他推荐列表还不足以填满网站的推荐位&＃xff0c;可以用这个列表补齐。
实时流处理流程
1&＃xff09;实时计算用户偏好--Item-Based协同算法
计算&＃xff1a;通过Flink任务对DIS用户行为通道的数据进行消费&＃xff0c;先把用户行为日志转换为标准行为&＃xff08;Time,userid,ItemID,Score)&＃xff0c;再通过流式Item-Based协同算法计算推荐列表&＃xff0c;更新到HBase中。
2&＃xff09;实时计算用户偏好--User-Based协同算法
计算&＃xff1a;同上&＃xff0c;区别是使用流式User-Based协同算法计算推荐列表&＃xff0c;更新到HBase中。
3&＃xff09;实时计算用户偏好--Content-Based算法
计算&＃xff1a;同上&＃xff0c;区别是使用流式Content-Based协同算法计算推荐列表&＃xff0c;更新到HBase中。
以上一顿操作&＃xff0c;在HBase中会有一堆以UserID、Item为Key的推荐列表&＃xff0c;形如&＃xff1a;
用户推荐列表结果&＃xff1a;
userid_001:item100, item899, item 433, item 666,....
userid_002:item220, item334, item 720 item 666,....
userid_003:item728, item899, item 333, item 632,....
根据用户实时行为、历史行为不同周期&＃xff0c;有若干组不同的推荐列表。
基于商品的推荐列表结果&＃xff1a;
Item_0001: Item1000,Item333,time5213,...
Item_0002: Item1000,Item333,time5213,...
Item_0003: Item1000,Item333,time5213,...
另外&＃xff0c;推荐系统平台还需要一个提供rest接口的服务&＃xff0c;供web网站推荐位调用。当用户打开网页时&＃xff0c;自动向该服务请求当前用户的推荐列表&＃xff0c;服务访问HBase&＃xff0c;获取前面作业计算出来的多个推荐列表&＃xff0c;并按一定策略组合成一个推荐列表返回给网页&＃xff0c;就此&＃xff0c;完成了一个端到端的推荐业务流程。
一个完整的推荐系统要更复杂一些&＃xff0c;这里并没有讨论推荐系统的专题内容。从例子可以看出DAYU具备强大的编排和调度能力&＃xff0c;单单一个任务就可以涵盖非常复杂的场景。实时上&＃xff0c;大型的推荐系统平台还是需要针对性的定制&＃xff0c;因为涉及到一些管理上的流程需要应对、闭环。不过基于华为云体系下各种平台、应用&＃xff0c;有了DAYU这个助手&＃xff0c;数据相关的方方面面的事务处理&＃xff0c;将变得既简洁又高效。
本文分享自华为云社区《基于DAYU的实时作业开发&＃xff0c;分分钟搭建企业个性化推荐平台》&＃xff0c;原文作者&＃xff1a;Loading... 。
点击关注&＃xff0c;第一时间了解华为云新鲜技术~
京公网安备 11010802041100号