一 、简介
随机森林是利用多棵树对样本进行训练并预测的一种分类器。
随机选择特征数目&＃xff0c;随机选择训练数据&＃xff0c;对同一个预测数据取出现次数最多的预测标签为最终预测标签。
随机森林实际上是一种特殊的bagging方法&＃xff0c;它将决策树用作bagging中的模型。首先&＃xff0c;用bootstrap方法生成m个训练集&＃xff0c;然后&＃xff0c;对于每个训练集&＃xff0c;构造一颗决策树&＃xff0c;在节点找特征进行分裂的时候&＃xff0c;并不是对所有特征找到能使得指标&＃xff08;如信息增益&＃xff09;最大的&＃xff0c;而是在特征中随机抽取一部分特征&＃xff0c;在抽到的特征中间找到最优解&＃xff0c;应用于节点&＃xff0c;进行分裂。随机森林的方法由于有了bagging&＃xff0c;也就是集成的思想在&＃xff0c;实际上相当于对于样本和特征都进行了采样&＃xff08;如果把训练数据看成矩阵&＃xff0c;就像实际中常见的那样&＃xff0c;那么就是一个行和列都进行采样的过程&＃xff09;&＃xff0c;所以可以避免过拟合。
prediction阶段的方法就是bagging的策略&＃xff0c;分类投票&＃xff0c;回归均值。
二、算法
- 用N来表示训练用例&＃xff08;样本&＃xff09;的个数&＃xff0c;M表示特征数目。
- 输入特征数目m&＃xff0c;用于确定决策树上一个节点的决策结果&＃xff1b;其中m应远小于M。
- 从N个训练用例&＃xff08;样本&＃xff09;中以有放回抽样的方式&＃xff0c;取样N次&＃xff0c;形成一个训练集&＃xff08;即bootstrap取样&＃xff09;&＃xff0c;并用未抽到的用例&＃xff08;样本&＃xff09;作预测&＃xff0c;评估其误差。
- 对于每一个节点&＃xff0c;随机选择m个特征&＃xff0c;决策树上每个节点的决定都是基于这些特征确定的。根据这m个特征&＃xff0c;计算其最佳的分裂方式。
- 每棵树都会完整成长而不会剪枝&＃xff0c;这有可能在建完一棵正常树状分类器后会被采用&＃xff09;。
三、优点
1&＃xff09;对于很多种资料&＃xff0c;它可以产生高准确度的分类器&＃xff1b;
2&＃xff09;它可以处理大量的输入变数&＃xff1b;
3&＃xff09;它可以在决定类别时&＃xff0c;评估变数的重要性&＃xff1b;
4&＃xff09;在建造森林时&＃xff0c;它可以在内部对于一般化后的误差产生不偏差的估计&＃xff1b;
5&＃xff09;它包含一个好方法可以估计遗失的资料&＃xff0c;并且&＃xff0c;如果有很大一部分的资料遗失&＃xff0c;仍可以维持准确度&＃xff1b;
6&＃xff09;它提供一个实验方法&＃xff0c;可以去侦测variable interactions&＃xff1b;
7&＃xff09;对于不平衡的分类资料集来说&＃xff0c;它可以平衡误差&＃xff1b;
8&＃xff09;它计算各例中的亲近度&＃xff0c;对于数据挖掘、侦测离群点&＃xff08;outlier&＃xff09;和将资料视觉化非常有用&＃xff1b;
9&＃xff09;使用上述。它可被延伸应用在未标记的资料上&＃xff0c;这类资料通常是使用非监督式聚类。也可侦测偏离者和观看资料&＃xff1b;
10&＃xff09;学习过程是很快速的。
四、代码实现
决策树构建等
参考决策树算法
import csv
import numpy as np
import random
import copy
import operatordef loadDataset(filename):with open(filename, &＃39;r&＃39;) as f:lines &＃61; csv.reader(f)data_set &＃61; list(lines)if filename !&＃61; &＃39;titanic.csv&＃39;:for i in range(len(data_set)):del(data_set[i][0])# 整理数据for i in range(len(data_set)):del(data_set[i][0])del(data_set[i][2])data_set[i][4] &＃43;&＃61; data_set[i][5]del(data_set[i][5])del(data_set[i][5])del(data_set[i][6])del(data_set[i][-1])category &＃61; data_set[0]del (data_set[0])# 转换数据格式for data in data_set:data[0] &＃61; int(data[0])data[1] &＃61; int(data[1])if data[3] !&＃61; &＃39;&＃39;:data[3] &＃61; float(data[3])else:data[3] &＃61; Nonedata[4] &＃61; float(data[4])data[5] &＃61; float(data[5])# 补全缺失值 转换记录方式 分类for data in data_set:if data[3] is None:data[3] &＃61; 28# male : 1, female : 0if data[2] &＃61;&＃61; &＃39;male&＃39;:data[2] &＃61; 1else:data[2] &＃61; 0# age <25 为0, 25<&＃61;age<31为1&＃xff0c;age>&＃61;31为2if data[3] <60: # 但是测试得60分界准确率最高&＃xff1f;&＃xff1f;&＃xff1f;&＃xff01;&＃xff01;&＃xff01;data[3] &＃61; 0else:data[3] &＃61; 1# sibsp&parcg以2为界限&＃xff0c;小于为0&＃xff0c;大于为1if data[4] <2:data[4] &＃61; 0else:data[4] &＃61; 1# fare以64为界限if data[-1] <64:data[-1] &＃61; 0else:data[-1] &＃61; 1return data_set, categorydef gini(data, i):num &＃61; len(data)label_counts &＃61; [0, 0, 0, 0]p_count &＃61; [0, 0, 0, 0]gini_count &＃61; [0, 0, 0, 0]for d in data:label_counts[d[i]] &＃43;&＃61; 1for l in range(len(label_counts)):for d in data:if label_counts[l] !&＃61; 0 and d[0] &＃61;&＃61; 1 and d[i] &＃61;&＃61; l:p_count[l] &＃43;&＃61; 1print(label_counts)print(p_count)for l in range(len(label_counts)):if label_counts[l] !&＃61; 0:gini_count[l] &＃61; 2*(p_count[l]/label_counts[l])*(1 - p_count[l]/label_counts[l])gini_p &＃61; 0for l in range(len(gini_count)):gini_p &＃43;&＃61; (label_counts[l]/num)*gini_count[l]print(gini_p)return gini_pdef get_best_feature(data, category):if len(category) &＃61;&＃61; 2:return 1, category[1]feature_num &＃61; len(category) - 1data_num &＃61; len(data)feature_gini &＃61; []for i in range(1, feature_num&＃43;1):feature_gini.append(gini(data, i))min &＃61; 0for i in range(len(feature_gini)):if feature_gini[i] # 三种结束情况# 取分类标签(survivor or death)class_list &＃61; [exampel[0] for exampel in data]if class_list &＃61;&＃61; []:return Node(0)# 如果类别完全相同则停止分类if class_list.count(class_list[0]) &＃61;&＃61; len(class_list):return Node(class_list[0])# 遍历完所有特征时返回出现次数最多的类标签if len(data[0]) &＃61;&＃61; 1:return Node(majority_cnt(class_list))# 最优特征的标签best_feature_num, best_feature_label &＃61; get_best_feature(data, labels)feature_labels.append(best_feature_label)node &＃61; Node(best_feature_label)ldata &＃61; []rdata &＃61; []for d in data:if d[best_feature_num] &＃61;&＃61; 1:del(d[best_feature_num])ldata.append(d)else:del(d[best_feature_num])rdata.append(d)labels2 &＃61; copy.deepcopy(labels)del(labels2[best_feature_num])tree &＃61; nodetree.lchild &＃61; creat_tree(ldata, labels2, feature_labels)tree.rchild &＃61; creat_tree(rdata, labels2, feature_labels)return treedef breadth_travel(tree):"""广度遍历"""queue &＃61; [tree]while queue:cur_node &＃61; queue.pop(0)print(cur_node.name, end&＃61;" ")if cur_node.lchild is not None:queue.append(cur_node.lchild)if cur_node.rchild is not None:queue.append(cur_node.rchild)print()def prediction(t_tree, test, labels):result &＃61; []for data in test:l &＃61; []l &＃61; copy.deepcopy(labels)tree &＃61; t_treefor i in range(len(labels)):if tree.name &＃61;&＃61; 1 or tree.name &＃61;&＃61; 0:result.append(tree.name)breakj &＃61; 1while j:if tree.name &＃61;&＃61; l[j]:breakj &＃43;&＃61; 1if data[j] &＃61;&＃61; 1:tree &＃61; tree.lchildelse:tree &＃61; tree.rchilddel(l[j])del(data[j])return result
随机森林的预测代码
def new_pre(t_test, labels, tree):result &＃61; []r &＃61; []for i in range(len(t_test)):label &＃61; []label &＃61; copy.deepcopy(labels[i])print(label)breadth_travel(tree[i])r.append(prediction(tree[i], t_test[i], label))rr &＃61; []for i in range(len(r[0])):rr.append([])for i in range(len(rr)):for j in range(len(r)):rr[i].append(r[j][i])print(rr)for i in range(len(rr)):result.append(majority_cnt(rr[i]))return result
读取数据
test_set, category &＃61; loadDataset(&＃39;titanic_test.csv&＃39;)data_set, category &＃61; loadDataset(&＃39;titanic.csv&＃39;)
生成
随机选取三个特征&＃xff0c;生成十棵树
tree_num &＃61; 10bootstrapping &＃61; []b_category &＃61; []b_test &＃61; []for i in range(tree_num):b_category.append(copy.deepcopy(category))b_test.append(copy.deepcopy(test_set))bootstrapping.append([])for j in range(len(data_set)):bootstrapping[i].append(copy.deepcopy(data_set[int(np.floor(np.random.random() * len(data_set)))]))print(test_set)print(b_test)# m &＃61; 3,此处选取随机去掉的两个特征n &＃61; 2n_num_category &＃61; []for i in range(tree_num):n_num_category.append(random.sample(range(1, 5), n))print(n_num_category)print(b_category)for i in range(len(b_category)):for j in range(n):b_category[i][n_num_category[i][j]] &＃61; 0for j in range(n):b_category[i].remove(0)for k in range(len(b_test[i])):for j in range(2):b_test[i][k][n_num_category[i][j]] &＃61; -1for k in range(len(b_test[i])):for j in range(2):b_test[i][k].remove(-1)for k in range(len(bootstrapping[i])):for j in range(2):bootstrapping[i][k][n_num_category[i][j]] &＃61; -1for k in range(len(bootstrapping[i])):for j in range(2):bootstrapping[i][k].remove(-1)print(b_category)print(b_test)print(bootstrapping)b2_category &＃61; copy.deepcopy(b_category)my_tree &＃61; []for i in range(tree_num):my_tree.append(creat_tree(bootstrapping[i], b2_category[i]))for i in range(tree_num):print(b_category[i])breadth_travel(my_tree[i])
计算准确率
result &＃61; new_pre(b_test, b_category, my_tree)print(result)counts &＃61; 0for i in range(len(test_set)):if test_set[i][0] &＃61;&＃61; result[i]:counts &＃43;&＃61; 1print(counts)print(counts/len(test_set))
五、结果展示及分析
准确率&＃xff1a;63.7%
低于其他方法的结果&＃xff0c;考虑是由于本身特征较少&＃xff0c;再随机选取特征之后生成的决策树效果较差&＃xff0c;导致最后集成的效果也变差了。
京公网安备 11010802041100号