人工智能推荐系统：大数据电商推荐系统架构

1、数据生命周期

2、数据源解析

2.1 商品信息

2.2 用户评分数据

2.3 主要数据模型

3、大数据处理流程

3.1 大数据离线处理流程

3.2 大数据实时处理流程

1、离线统计模块

1.1 历史热门商品统计

• 统计所有历史数据中每个商品的评分数，得：RateMoreProducts 数据结构：productId，count

  select productId, count(productId) as count from ratings group by productId order by count desc


1.2 近期热门商品统计

• 统计每月的商品评分个数，就代表了商品近期的热门度，得：ratingOfMonth、RateMoreRecentlyProducts

  select productId, score, changeDate(timestamp) as yearmonth from ratings


  select productId, count(productId) as count ,yearmonth from ratingOfMonth group by yearmonth, productId order by yearmonth desc,count desc


  changDate ：UDF函数，使用 SimpleDateFormat 对 Date 进行格式转化，转化格式为“yyyyMM”
  RateMoreRecentlyProducts 数据结构：productId，count，yearmonth

1.3 商品平均评分统计

• AverageProducts 数据结构：productId，avg

  select productId, avg(score) as avg from ratings group by productId order by avg desc


2、离线推荐模块

2.1 基于LFM的离线推荐模块

2.1.1 用ALS算法训练隐语义模型（LFM）

• 均方根误差(RMSE)：均方误差的算术平方根，预测值与真实值之间的误差
  
• 参数调整 可以通过均方根误差，来多次调整参数值，选择RMSE最小的一组参数值：rank，iterations，lambda

2.1.2 计算用户推荐矩阵

2.1.3 计算商品相似度矩阵

2.2 基于物品的离线相似推荐（Tf-idf）

• 怎样找到商品 A 的相似商品？—— 与A有相同标签的商品，喜欢A的人同样喜欢的商品
• 根据 UGC (用户给商品打的标签)的特征提取 —— 利用TF-IDF算法从商品内容标签中提取特征
• 基于商品的用户标签信息，用TF-IDF算法提取特征向量
  
• 计算特征向量的余弦相似度，从而得到商品的相似列表
  
• 在实际应用中，一般会在商品详情页、或商品购买页将相似商品推荐出来

2.3 基于物品的协同过滤离线相似推荐（Item-CF）

• 怎样找到商品 A 的相似商品？—— 与A有相同标签的商品，喜欢A的人同样喜欢的商品
• 根据行为数据的相似度计算—— Item-CF：根据行为数据，找到喜欢了商品A的用户，同时喜欢了哪些商品，喜欢的人重合度越高相似度就越大
• 基于物品的协同过滤（Item-CF），只需通过埋点收集用户的常规行为数据（比如点击、收藏、购买）就可以得到商品间的相似度，在实际项目中应用很广
• 比如：A商品详情页中的推荐：购买了A商品的用户也购买了以下商品…
• “同现相似度”—— 利用行为数据计算不同商品间的相似度
  
  其中：
  • N i N_i Ni​ 是购买商品 i i i （或对商品 i i i 评分）的用户列表， N j N_j Nj​ 是购买商品 j j j 的用户列表
  • N i ∩ N j N_i ∩ N_j Ni​∩Nj​ 表示同时购买了商品 i i i 与商品 j j j 的用户总数、 ∣ N i ∣ ∣ N j ∣ \sqrt{|N_i||N_j|} ∣Ni​∣∣Nj​∣ ​ 是对热门商品的惩罚项

2.4 基于用户的协同过滤离线相似推荐（User-CF）

3、实时推荐模块

• 计算速度要快
• 结果可以不是特别精确
• 有预先设计好的推荐模型
• 基于自定义模型
  
• 推荐优先级计算基本原理：用户最近一段时间的口味是相似的
• 备选商品推荐优先级:
  
  
• 备选商品 【 X , Y , Z 】 【X,Y,Z】 【X,Y,Z】是当前商品 D D D 的商品相似度列表中与商品 D D D 最相似的的前 N N N 个商品
• 备选商品 X X X 的推荐优先级分数为：
  s i m ( A , X ) × 5 + s i m ( B , X ) × 4 + s i m ( C , X ) × 1 3 + l g 2 − l g 1 \cfrac{sim(A,X)×5+sim(B,X)×4+sim(C,X)×1}{3}+lg2-lg1 3sim(A,X)×5+sim(B,X)×4+sim(C,X)×1​+lg2−lg1
  其中
  • l g 2 lg2 lg2里的 2 2 2表示用户对商品的评分大于3分的商品数量，
  • l g 1 lg1 lg1里的 1 1 1表示用户对商品的评分小于3分的商品数量，
  • 分界线 3 3 3分是人为设定的

4、混合推荐 —— 分区混合