基于决策树的性别分类分析

### 引言

本文是笔者在学习机器学习与人工智能课程时完成的一个作业，任务是使用决策树算法对男女进行分类。该任务虽然简单，但涉及到了决策树的核心原理和实现方法。

### 数据集描述

本研究使用的数据集包含四个特征：头发、声音、脸型和肤质。每个特征有两种可能的取值（如长/短、粗/细、方/圆、粗糙/细腻），共有10个样本，其中男性和女性各5个。以下是数据集的示例图（图1）：


### 决策树构建原理

决策树是一种监督学习方法，用于分类或回归问题。其核心思想是在每个节点上选择一个最优属性进行分裂，使子节点尽可能纯。这里我们采用信息熵来衡量样本的纯度。信息熵定义为：

\[ Ent(D) = - \sum_{k=1}^{|Y|} p_k \log_2 p_k \]

其中，\(D\)表示样本集，\(|Y|\)表示类别数，\(p_k\)表示第\(k\)类样本的比例。信息熵越小，说明样本的纯度越高。

对于给定的数据集，计算初始信息熵为：

\[ Ent(D) = - (\frac{5}{10}\log_2 \frac{5}{10} + \frac{5}{10}\log_2 \frac{5}{10}) = 1 \]

接下来需要考虑如何选择最优属性进行分裂。为此，我们引入了信息增益的概念，即用样本集的总信息熵减去属性划分后的加权信息熵。信息增益越大，意味着该属性对分类的贡献越大。

例如，以“头发”属性为例，当头发长度为“长”时，有1个女生和3个男生；当头发长度为“短”时，有4个女生和2个男生。因此，“头发”的信息增益计算如下：

\[ Ent(D_{(a=long)}) = - ({1 \over 4}\log_2 {1 \over 4} + {3 \over 4}\log_2 {3 \over 4}) \approx 0.81 \]

\[ Ent(D_{(a=short)}) = - ({4 \over 6}\log_2 {4 \over 6} + {2 \over 6}\log_2 {2 \over 6}) \approx 0.91 \]

\[ gain = Ent(D) - ({4 \over 10}Ent(D_{(a=long)}) + {6 \over 10}Ent(D_{(a=short)})) = 1 - {4 \over 10} \times 0.81 - {6 \over 10} \times 0.91 = 0.13 \]

### 程序实现

以下是使用Python实现决策树的代码片段：

```python
import pandas as pd
import numpy as np

# 计算信息熵
def cal_information_entropy(data):
data_label = data.iloc[:, -1]
label_class = data_label.value_counts()
Ent = 0
for k in label_class.keys():
p_k = label_class[k] / len(data_label)
Ent -= p_k * np.log2(p_k)
return Ent

# 计算信息增益
def cal_information_gain(data, a):
Ent = cal_information_entropy(data)
feature_class = data[a].value_counts()
gain = 0
for v in feature_class.keys():
weight = feature_class[v] / data.shape[0]
Ent_v = cal_information_entropy(data.loc[data[a] == v])
gain += weight * Ent_v
return Ent - gain

# 获取标签最多的那一类
def get_most_label(data):
data_label = data.iloc[:, -1]
label_sort = data_label.value_counts(sort=True)
return label_sort.keys()[0]

# 挑选最优特征
def get_best_feature(data):
features = data.columns[:-1]
res = {}
for a in features:
temp = cal_information_gain(data, a)
res[a] = temp
res = sorted(res.items(), key=lambda x: x[1], reverse=True)
return res[0][0]

# 创建决策树
def create_tree(data):
data_label = data.iloc[:, -1]
if len(data_label.value_counts()) == 1:
return data_label.values[0]
if all(len(data[i].value_counts()) == 1 for i in data.iloc[:, :-1].columns):
return get_most_label(data)
best_feature = get_best_feature(data)
Tree = {best_feature: {}}
exist_vals = pd.unique(data[best_feature])
if len(exist_vals) != len(column_count[best_feature]):
no_exist_attr = set(column_count[best_feature]) - set(exist_vals)
for no_feat in no_exist_attr:
Tree[best_feature][no_feat] = get_most_label(data)
for item in drop_exist_feature(data, best_feature):
Tree[best_feature][item[0]] = create_tree(item[1])
return Tree

# 预测函数
def predict(Tree, test_data):
first_feature = list(Tree.keys())[0]
second_dict = Tree[first_feature]
input_first = test_data.get(first_feature)
input_value = second_dict[input_first]
if isinstance(input_value, dict):
class_label = predict(input_value, test_data)
else:
class_label = input_value
return class_label

# 读取数据
data = pd.read_csv('data_word.csv', encoding='gbk')
column_count = {ds: list(pd.unique(data[ds])) for ds in data.iloc[:, :-1].columns}
dicision_Tree = create_tree(data)
print(dicision_Tree)

# 测试数据
test_data_1 = {'头发': '长', '声音': '粗', '脸型': '方', '肤质': '粗糙'}
test_data_2 = {'头发': '短', '声音': '粗', '脸型': '圆', '肤质': '细腻'}
result = predict(dicision_Tree, test_data_2)
print('分类结果为' + ('男生' if result == 1 else '女生'))
```

### 参考文献

- [CSDN博客](https://blog.csdn.net/IT23131/article/details/121068259)
- [知乎专栏](https://zhuanlan.zhihu.com/p/499238588)