推荐系统特征工程处理方法

特征&＃xff1a;数据中抽取出来的结果预测有用的信息
特征的个数就是数据的观测维度。
特征工程时使用专业北京知识和技巧处理数据&＃xff0c;使得特征能在机器学习算法上发挥更好的作用的过程。
特征工程一般暴扣特征清洗(采样&＃xff0c;清洗一场样本)&＃xff0c;特征处理和特征选择
特征按照不同的数据类型分类&＃xff0c;有不同的特征处理方法
----数值型
用连续数值表示当前维度特征&＃xff0c;通常会对数值型特征进行数学上的处理&＃xff0c;主要的做法是归一化和离散化
归一化也称幅度调整
特征与特征之间应该是平等的&＃xff0c;区别应该体现在特征内部&＃xff0c;
例如&＃xff1a;房屋价格和房屋面积的幅度是不同的&＃xff0c;价格一般在万级别&＃xff0c;而面积应该在百级别&＃xff0c;那么明明平等的两个特征&＃xff0c;输入到相同的模型中后由于本身的幅值不同而导致产生的效果不同&＃xff0c;这是不合理的
那么对于这种情况&＃xff0c;应该把数值归一化&＃xff1a;

离散化&＃xff1a;
第一种&＃xff1a;等步长&＃xff0c;
例如&＃xff1a;年龄段&＃xff0c;每隔十岁一个等级&＃xff0c;0-10&＃xff0c;10-20&＃xff0c;20-30&＃xff0c;&＃xff0c;&＃xff0c;&＃xff0c;&＃xff0c;
第二种&＃xff1a;等频
例如&＃xff1a;min -> 25% -> 75% -> max
京东上选商品时候的价格区间&＃xff0c;这个是按照那个区间物品密集就在那个密集细分下&＃xff0c;
例如&＃xff1a;手机可能在1500-3500这个之间会多点 而在5000以上相对比会少点
所以价位应该设置为0-25%&＃xff0c;25-30%&＃xff0c;30-35%&＃xff0c;35%-50%&＃xff0c;&＃xff0c;&＃xff0c;&＃xff0c;
两种方法对比&＃xff1a;
等频的离散方法很准确&＃xff0c;但是需要每次对数据分布从新计算一遍&＃xff0c;因为昨天用户在淘宝上买东西的价位分布和今天不一定相同&＃xff0c;因此昨天做的等频的切分点可能并不适用&＃xff0c;而线上最需要避免的就是不固定&＃xff0c;需要现场计算&＃xff0c;所以昨天训练出的模型今天不一定能使用
等频不固定&＃xff0c;但很准确&＃xff0c;等步长是固定的&＃xff0c;非常简单&＃xff0c;因此两者在工业上都有应用
----类别型
类别型数据本身没有大小关系&＃xff0c;需要将他们编码为数字&＃xff0c;但是他们之间不能有预先设定的大小关系&＃xff0c;因此既要做到公平&＃xff0c;又要区分他们&＃xff0c;那么直接开辟多个空间&＃xff0c;
One-Hot 编码/哑变量
One-Hot 编码所做的就是及那个类别数据平行地展开&＃xff0c;也就是说&＃xff0c;经过One-Hot编码后&＃xff0c;这个特征的空间膨胀&＃xff0c;
例如&＃xff1a;一个特征为颜色&＃xff0c;这是红黄蓝绿这个用数字怎么表示呢&＃xff1f;&＃xff1f;&＃xff1f;
用One-Hot编码&＃xff1a;
红 1000
黄 0100
蓝 0010
绿 0001

----时间型
时间型特征既可以做连续值&＃xff0c;又可以看作离散值
连续值&＃xff1a;
持续时间&＃xff08;网页游览时长&＃xff09;
间隔时间&＃xff08;上一次购买/点击离现在的时间间隔&＃xff09;
离散值
一天种那个时间端
一周中的星期几
一年中那个月
工作日/周末
----统计型
加减平均&＃xff1a;商品价格高于平均价格多少&＃xff0c;用户在某个品类下消费超过多少
分位线&＃xff1a;商品属于售出商品价位的分位线处
次序性&＃xff1a;商品处于热门商品第几位
比例类&＃xff1a;电商中商品的好中差比例