改进多分类算法

1.改进的二叉树多分类决策树算法

上层节点的分类性能对整个分类模型的影响较大&＃xff0c;在分类过程中&＃xff0c;应尽量减少上层节点的分类&＃xff0c;提出类分离测度&＃xff0c;将类分离测度大的属性作为二叉树的上层分叉节点&＃xff0c;优先分离

参考&＃xff1a;《改进的二叉决策树多分类算法在入侵检测中的应用》

2.多分类AdaBoost

 多分类问题的Ada Boost.SAMME算法&＃xff1a;α&＃61;1/2 * log(1 - e / e) &＃43; lg(k - 1) &＃xff0c;当k&＃61;2时&＃xff0c;为二分类&＃xff0c;在解决k(k>2)类问题时&＃xff0c;算法正确率大于1/k即可

本文使用SVM&＃xff08;高斯核函数&＃xff09;做基分类器

参考&＃xff1a;《基于多分类AdaBoost的航空发动机故障诊断》

3.AdaBoost改进随机森林

用AdaBoost算法来调整随机森林中的决策树对不同地物类别的投票权重, 将分类能力强的决策树赋予高权重, 分类能力弱的决策树赋予低权重, 最终通过加权投票的形式进行组合, 采用最大投票准则获得分类结果

参考&＃xff1a;《基于AdaBoost改进随机森林的高光谱图像地物分类方法研究》

4.Analyzing the oversampling of different classes and types of examples in multi-class imbalanced datasets

针对不平衡数据集&＃xff0c;将数据分成4类&＃xff0c;针对不同类别的数据点确定上采样

5. Diversity Analysis on Imbalanced Data Sets by Using Ensemble Models

1. 类别不平衡不能单纯的将少数类别的数量增加至相同数量&＃xff0c;这可能会导致新的“内部”不平衡&＃xff0c;提出一种计算方法&＃xff0c;少数类应该生成多少样本&＃xff08;用在SMOTEBagging&＃xff09;

2. 每个类别应该上采样或下采样多上样本时&＃xff0c;提出了一种方法&＃xff08;用在UnderBagging和OverBagging中&＃xff09;&＃xff1a;

2. 衡量生成样本的多样性和准确性&＃xff08;多样性有个公式&＃xff09;

3. 提出针对不平衡样本的UnderBagging、OverBagging、SMOTEBagging三种算法

多分类AdaBoost算法&＃xff1a;

• AdaBoost.SAMME&＃xff08;多类指数损失函数逐步添加模型 Stagewise Additive Modeling using a Multi-class Exponential loss function&＃xff09;:相比较与传统AdaBoost算法&＃xff0c;改变的是弱分类器的权重确定公式&＃xff1a;(注&＃xff1a;sklearn)
• AdaBoost.M1
• AdaBoost.M2
• AdaBoost.MH

论文&＃xff1a;《Muiti-class AdaBoost》

不平衡数据集的多分类AdaBoost

• EasyEnsemble&＃xff1a;每个弱分类器&＃xff0c;对多数类随机下采样与少数类样本相同数量的样本构成当前若分类器的数据集
• CaseCade&＃xff1a;每个分类器&＃xff0c;在数据集中移除上一个弱分类器分类正确的多数类中的样本&＃xff0c;直至数据集平衡
• CUSBoost&＃xff1a;k-means聚类采样与AdaBoostd算法结合。对多数类使用聚类算法&＃xff0c;从每个聚类中随机抽取部分样本&＃xff0c;与少数类样本组成平衡数据集。聚类的方法帮助我们在多数类别数据中选择了差异性更大的数据&＃xff08;同一个聚类里面的数据则选择的相对较少&＃xff09;。CUSBoost combines the sampling and boosting methods to form an efficient and effective algorithm for class imbalance learning.
• SMOTEBoost&＃xff1a;SMOTE上采样方法与AdaBoost算法结合
• SAMME.R&＃xff1a;为了解决 SAMME 算法对基分类器要求过弱的问题&＃xff0c;对每次迭代训练出的弱分类器进行检验&＃xff0c;判断各类中分到
  每类样本的权值和&＃xff0c;并且要求分到正确类的权值和大于分到任意错误类的权值和&＃xff0c;如果满足该条件则保留该基分类器&＃xff0c;否则重新训练新的基分类器。SAMME&＃xff0e; R 算法的主要改进在于通过筛选基分类器保证算法训练出的强分类器可以分类正确
• SAMME.RD&＃xff08;SAMME with Resampling and Dynamic weighting&＃xff09;&＃xff1a;传统的 AdaBoost 算法对待测样本进行预测时各个分类器的加权系数是固定不变的&＃xff0c;但是通过分析可以知道基分类器对不同的待测样本的分类能力是不一样的&＃xff0c;这是因为基分类使用不同的训练集训练而来&＃xff0c;它们对分布在不同区域的样本分类能力是不一样的。如果在预测时使用相同的加权系数&＃xff0c;预测结果的准确性将会受到一定的影响&＃xff0c;所以为了进一步提升算法的预测性能&＃xff0c;动态加权投票&＃xff0c;1)对基分类器的分类结果进行统计&＃xff0c;统计分到各类的基分类器个数&＃xff0c;如果分到某类的个数与基分类器总数的比值大于一个设定的阈值 α&＃xff0c;则直接输出此类作为待测样本的类别。2) 对于分到各类的数目没有大于设定阈值 α 的情况&＃xff0c;求出待测样本在训练样本中的有效邻域&＃xff0c;统计基分类器对有效邻域中的样本的分类能力&＃xff0c;根据基分类器对有效邻域分类正确率的大小来确定基分类器的加权系数。《基于多类指数损失函数逐步添加模型的改进多分类 AdaBoost 算法》
• EnsembleAdaBoost.M&＃xff1a;针对EasyEnsemble算法中随机欠采样可能改变数据分布的问题&＃xff0c;先采用样本均值的方法进行采样&＃xff0c;使样本均衡

然后传统的 AdaBoost 分类器无法解决上采样产生的噪音数据降低分类性能的问题,引入了阈值 μ和惩罚次数 P 。当某个样本的权重超过 μ&＃xff0c;则将该样本的权重赋值为所有样本中的最小权重&＃xff0c;同时记为一次惩罚&＃xff0c;增加惩罚次数 P n &＃xff0c;若被惩罚过的样本在下次迭代中样本权重依然超过 μ&＃xff0c;则可以判断该样本为噪音数据&＃xff0c;将其权重赋值为 0&＃xff0c;从数据集中剔除掉。《基于多类不平衡分类的改进 AdaBoost 算法研究》

随机森林的改进&＃xff1a;

• 引入分层抽样降低样本类别平衡率&＃xff0c;代价敏感学习&＃xff08;样本加权&＃xff09;通过对样本权重赋值&＃xff0c;能够提高分类器对小样本类的检测率和检测准确率《层次采样的代价敏感随机森林算法及其应用》
• MR-RF-SHDSE算法&＃xff1a;分层抽样&＃xff0c;针对不平衡数据集&＃xff0c;采用G-mean值衡量决策树的强度&＃xff0c;公式如下&＃xff0c;

采用不合度量&＃xff08;disagreement measure&＃xff09;衡量两个决策树之间的相似度&＃xff0c;计算公式如下&＃xff1a;

目的是找到一个mapper下具有一定差异其具有一定轻度的决策树&＃xff0c;选择方法如下&＃xff1a;

《 MapReduce环境下处理多类别不平衡数据的改进随机森林算法》

• 基分类器选择BT-SVM&＃xff08;二叉树结构&＃xff09;&＃xff0c;自上至下选择类别时采用类间距离&＃xff0c;距离大的先分离&＃xff1b;在集成分类器中最重要的是如何综合个分类器的结果&＃xff0c;常用的是简单投票&＃xff0c;如随机森林&＃xff0c;然而&＃xff0c;当各分类器性能不统一时此种做法往往造成较大的负面效果&＃xff0c;尤其在出现各类别得票数相差无几或多类得票数相同的情况时&＃xff0c;如果还采用之前的简单投票进行预测&＃xff0c;则预测准确性将大打折扣。采用动态加权&＃xff0c;设定阈值&＃xff0c;将待分类样本代入各个分类器&＃xff0c;通过给定阈值判断是否加权&＃xff0c;如果低于阈值&＃xff0c;将进行动态加权给各个基分类器分配权。重本文利用 &＃xff2b;&＃xff2e;&＃xff2e;思想&＃xff0c;从样本中选出与待测样本相似的 &＃xff2b; 个样本代入已训练好的分类器得到错分率&＃xff0c;并利用错分率得到各个分类器的权重&＃xff0c;最后进行线性加权&＃xff0c;求出最优的识别结果。

时间序列特征提取的python库&＃xff1a;tsfresh