数据平滑处理——log1p()和exmp1()

今天在做题的时候学到了一点有用的东西&＃xff0c;所以这里做个记录分享一下&＃xff0c;有关数据预处理的两个函数问题——log1p、expm1

1. 在数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化&＃xff0c;使其更加服从高斯分布&＃xff0c;此步处理可能会使我们后续的分类结果得到一个更好的结果&＃xff1b;
2. 平滑处理很容易被忽略掉&＃xff0c;导致模型的结果总是达不到一定的标准&＃xff0c;同样使用逼格更高的log1p能避免复值得问题——复值指一个自变量对应多个因变量&＃xff1b;
3. 其它的优点暂时还没发现......

log1p的使用就像是将一个数据压缩到了一个区间&＃xff0c;与数据的标准化类似。下面再说说它的逆运算expm1函数。

由于前面使用过log1p将数据进行了压缩&＃xff0c;所以最后需要记得将预测出的平滑数据进行一个还原&＃xff0c;而还原过程就是log1p的逆运算expm1。

上面介绍了两者的概念和方法的优点&＃xff0c;下面说说具体的数学含义&＃xff1a;

    log1p :&＃61;       即

    expm1 :&＃61; 

log1p函数有它存在的意义&＃xff0c;即保证了x数据的有效性&＃xff0c;当x很小时&＃xff08;如 两个数值相减后得到&＃xff09;&＃xff0c;由于太小超过数值有效性&＃xff0c;用计算得到结果为0&＃xff0c;换作log1p则计算得到一个很小却不为0的结果&＃xff0c;这便是它的意义&＃xff08;好像是用泰勒公式来展开运算的&＃xff0c;不确定&＃xff09;。

同样的道理对于expm1&＃xff0c;当x特别小&＃xff0c;就会急剧下降出现如上问题&＃xff0c;甚至出现错误值。

在最开始看到这样的处理方式的时候&＃xff0c;不是很理解包括为什么是逆运算&＃xff08;一下子没有想到&＃xff09;&＃xff0c;后来慢慢摸索就优点清晰了&＃xff0c;比如为什么两这是逆运算&＃xff08;简单处理&＃xff09;&＃xff1a;

是e为底的对数&＃xff0c;是e为底的指数&＃xff0c;根据对数的规则&＃xff0c;再进行变换推导可以得到&＃xff1a;

可以看到x经过对数的处理后&＃xff0c;再经过指数处理再次得到x&＃xff0c;这里对两者的逆运算做了简单的介绍。

另外RMSLE&＃xff08;均方根对数误差&＃xff09;会更多的惩罚欠拟合&＃xff0c;所以在使用该误差定义时我们也可以用到上面的函数&＃xff1a;

1. np.loglp计算加一后的对数&＃xff0c;其逆运算是np.expm1&＃xff1b;
2. 采用此误差函数时&＃xff0c;可以先对原始数据做np.log1p&＃xff0c;再使用RMSE。