作者 | gongyouliu

编辑 | gongyouliu

5.1 离散特征构建

离散特征是非常常见的一类特征，推荐系统中的用户属性数据、物品属性数据中就包含大量的类别特征，如性别、学历、视频的类型、标签、导演、国别等等。对于离散特征，一般可以采用如下4种方式对特征进行编码（即特征构建）。

 

5.1.1 one-hot编码

5.1.2 散列编码

5.1.3 计数编码

5.1.4 离散特征之间交叉

5.2 连续特征构建

连续型数据是机器学习算法直接可以使用的数据，对于连续型数据，我们一般可以通过如下几种方式来构建特征。

 

5.2.1 直接使用

5.2.2 离散化

5.2.3 特征交叉

5.3 时空特征构建

时间和地理位置也是两类非常重要的特征，下面分别来说明怎么将它们转化为模型特征。

 

对于时间来说，一般有如下几种转换为特征的方式：

 

5.3.1 转化为数值

5.3.2 将时间离散化

5.4 文本特征构建

对于文本一般可以用NLP等相关技术进行处理转化为数值特征。对于新闻资讯等文档，可以采用TF-IDF、LDA等将每篇文档转化为一个高维的向量表示。或者基于Word2Vec等相关技术将整篇文档嵌入(doc2vec)到一个低维的稠密向量空间。

 

5.5 富媒体特征构建

对于图片、音频、视频等富媒体，一般也可以基于相关领域的技术获得对应的向量表示，这种向量表示就可以作为富媒体的特征了。这里不细介绍，感兴趣的读者可以自行搜索学习。

 

5.6 嵌入特征构建

上面文本、富媒体中提到的嵌入技术是非常重要的一类提取特征的技术。所谓嵌入，就是将高维空间的向量投影到低维空间，降低数据的稀疏性，减少维数灾难，同时提升数据表达的鲁棒性。随着Word2Vec及深度学习技术的流行，嵌入特征越来越重要。下面我们来举个视频推荐系统中视频嵌入的例子。视频的嵌入分为基于内容的嵌入和基于行为的嵌入。

 

基于内容的嵌入使用标的物属性信息(如视频的标题、标签、演职员、海报图，视频、音频等信息)，通过 NLP、CV、深度学习等技术生成嵌入向量。

 

基于行为的嵌入是基于用户与标的物的交互行为数据生成嵌入。用户在一段时间中前后点击的视频存在一定的相似性，通常会表现出对某类型视频的兴趣偏好，可能是同一个风格类别，或者是相似的话题等，因此我们将一段时间内用户点击的视频 id 序列作为训练数据(id可以类比word，这个序列类比为一篇文档)，使用 skip-gram 模型学习视频的嵌入特征。由于用户点击行为具有相关关系，因此得到的嵌入特征有很好的聚类效果，使得在特征空间中，同类目的视频聚集在一起，相似类目的视频在空间中距离相近。作者在之前的视频推荐业务中，就是采用这种嵌入，通过嵌入向量计算视频之间的相似性，然后进行相似推荐，有不错的效果。

 

对于用户嵌入，我们也可以有很多方法，下面是两种比较基础的方法。

 

可以将一段时间内用户点击过的视频的平均嵌入特征向量作为该用户的嵌入特征，这里的“平均”可以是简单的算术平均，可以是element-wise max，也可以是根据视频的热度和时间属性等进行加权平均或者尝试用 RNN 替换掉平均操作。我们可以通过选择时间周期的长短来刻画用户的长期兴趣嵌入和短期兴趣嵌入。

 

另外参考YouTube推荐系统(Deep Neural Networks for YouTube Recommendations)的思路，我们可以把推荐问题等价为一个多类别分类问题，使用 softmax 损失函数学习一个 DNN 模型，最终预测在某一时刻某一上下文信息下用户观看的下一个视频的类别，最后把训练好的 DNN 模型最后一层隐含层输出作为用户的嵌入向量，有兴趣的读者可以参考我的另一本书《构建企业级推荐系统：算法、工程实现与案例分析》中10.3.1节的介绍。

 

5.7 特征降维

对于维度比较高的特征，我们可以通过降维进行处理，构建更低维度的特征。我们可以基于全部模型特征进行降维，也可以基于部分特征，甚至是单个特征进行降维。其实上面提到的嵌入方法可以看成是一种降维的形式。

 

在矩阵分解推荐算法中，当我们选定了隐因子k后，就可以将用户行为矩阵分解为用户矩阵和物品矩阵，这时就可以获得用户特征向量和物品特征向量，他们都是k维的，在没有降维之前，行为矩阵的行和列是可以分别用作用户向量和物品向量的，只不过没有进行矩阵分解时，用户向量（即用户行为矩阵的行）和物品向量（即用户行为矩阵的列）都是维数很高的，并且他们维数还不一样（用户向量的维数是物品的个数，物品向量的维数是用户个数）。关于矩阵分解，读者可以参考我的另一本书《构建企业级推荐系统：算法、工程实现与案例分析》第6章的介绍，这里不再赘述。

 

降维的方法可以用PCA或者KMeans聚类。这里简单说一下KMeans聚类降维。如果某个特征有100维，我们用KMeans聚类为10类，那么每个样本都可以归为1-10中的某一类，这就是一个离散特征了，这时就可以采用one-hot编码进行降维，降维后特征就是10维了。

 

总结

本章讲解了推荐系统中进行特征构建的一般思路和方法，这些方法基本覆盖了推荐系统中可能遇到的各种数据形式，掌握这些特征构建的方法有利于读者更好地构建推荐模型。当读者用机器学习模型去构建推荐系统时（比如利用logistic回归去做排序），掌握这些特征构建方法，可以帮助读者更快地构建一个可用的推荐模型。

 

特征构建不是一个纯技术的活，如果读者对需要使用机器学习模型的业务场景不了解，是很难构建出很好的特征的，可能会走很多弯路。所以这里提醒一下读者，在做某个机器学习项目时，需要深刻理解问题背后的业务背景，这将有助于你更好地选择合适的特征。