《R语言与数据挖掘》⑥⑦分类与预测建模【分类算法评价】

模型预测效果评价&＃xff0c;通常用相对绝对误差、平均绝对误差、根均方差、相对平方根误差等指标来衡量

一般回归型模型评价

绝对误差Absolute Error

相对误差Relative Error

平均相对误差Mean Absolute Error【MAE】

均方误差Mean Squared Error【MSE】

均方根误差Root Mean Squared Error 【RMSE】

一般分类型模型评价

• TP&＃xff08;True Positives&＃xff09;是指正确的肯定表示正确肯定的分类数&＃xff1b;
• TN&＃xff08;True Negatives&＃xff09;&＃xff1a;正确的否定表示正确否定的分类数&＃xff1b;
• FP&＃xff08;False Positives&＃xff09;&＃xff1a;错误的肯定表示错误肯定的分类数&＃xff1b;
• FN&＃xff08;False Negatives&＃xff09;&＃xff1a;错误的否定表示错误否定的分类数。

准确率 【Accuracy】

精确率 【Precision】

提取出的正确信息条数 / 提取出的信息条数

召回率 【Recall】

提取出的正确信息条数 / 样本中的信息条数

混淆矩阵【Confusion Matrix】

F1得分 【F1-Score】

F1_Score&＃61;正确率∗召回率∗2/(正确率&＃43;召回率)F_1\_Score&＃61;正确率 * 召回率 * 2 / (正确率 &＃43; 召回率) F1​_Score&＃61;正确率∗召回率∗2/(正确率&＃43;召回率)

ROC曲线

PR曲线

# ROC曲线和PR曲线
library(ROCR)
library(gplots)# 预测结果
train_predict <- predict(lda.model, newdata &＃61; traindata) # 训练数据集
test_predict <- predict(lda.model, newdata &＃61; testdata) # 测试数据集par(mfrow &＃61; c(1, 2))
# ROC曲线
# 训练集
predi <- prediction(train_predict$posterior[, 2], traindata$MN)
perfor <- performance(predi, "tpr", "fpr")
plot(perfor, col &＃61; "red", type &＃61; "l", main &＃61; "ROC曲线", lty &＃61; 1) # 训练集的ROC曲线
# 测试集
predi2 <- prediction(test_predict$posterior[, 2], testdata$MN)
perfor2 <- performance(predi2, "tpr", "fpr")
par(new &＃61; T)
plot(perfor2, col &＃61; "blue", type &＃61; "l", pch &＃61; 2, lty &＃61; 2) # 测试集的ROC曲线
abline(0, 1)
legend("bottomright", legend &＃61; c("训练集", "测试集"), bty &＃61; "n", lty &＃61; c(1, 2), col &＃61; c("red", "blue")) # 图例# PR曲线
# 训练集
perfor <- performance(predi, "prec", "rec")
plot(perfor, col &＃61; "red", type &＃61; "l", main &＃61; "PR曲线", xlim &＃61; c(0, 1), ylim &＃61; c(0, 1), lty &＃61; 1) # 训练集的PR曲线
# 测试集
perfor2 <- performance(predi2, "prec", "rec")
par(new &＃61; T)
plot(perfor2, col &＃61; "blue", type &＃61; "l", pch &＃61; 2, xlim &＃61; c(0, 1), ylim &＃61; c(0, 1), lty &＃61; 2) # 测试集的PR曲线
abline(1, -1)
legend("bottomleft", legend &＃61; c("训练集", "测试集"), bty &＃61; "n", lty &＃61; c(1, 2), col &＃61; c("red", "blue")) # 图例