不均衡数据处理方法学习笔记

实际生产数据中会出现大量不均衡数据&＃xff0c;如果直接对原始数据进行模型训练会使结果失真&＃xff0c;达不到预期
不均衡数据处理方法主要有三种&＃xff1a;

一.欠采样&＃xff1a;常用的是随机采样
缺陷&＃xff1a;将多数类样本删除有可能会导致分类器丢失有关多数类的重要信息

二.过采样&＃xff1a;1.简单复制少数类样本&＃xff0c;2.扩大数据集
缺陷&＃xff1a;可能会导致分类器学习出现过拟合现象

三.SMOTE过采样&＃xff1a;利用特征空间中现存少数类样本之间的相似性来建立人工数据的&＃xff08;基于“插值”来为少数类合成新的样本)
1. 首先从该少数类的全部 T 个样本中找到样本 xi 的 k 个近邻&＃xff08;例如用欧氏距离&＃xff09;&＃xff0c;记为 xi(near),near∈{1,...,k} &＃xff1b;
2. 然后从这 k 个近邻中随机选择一个样本 xi(nn) &＃xff0c;再生成一个 0 到 1 之间的随机数 ζ1 &＃xff0c;从而合成一个新样本 xi1 &＃xff1a;
xi1&＃61;xi&＃43;ζ1⋅(xi(nn)−xi)
3. 将步骤2重复进行 N 次&＃xff0c;从而可以合成 N 个新样本&＃xff1a;xinew,new∈1,...,N。
 优点
有助于简单打破过抽样所产生的关系
使得分类器的学习能力得到显著提高
缺陷
体现在过分泛化问题和方差

Base:目前一些算法对不均衡数据也同样可以处理&＃xff0c;比如lightGBM可以通过is_unbalance去设置数据集是否是均衡数据