作者:帆_Jx | 来源:互联网 | 2023-07-25 20:54
全文链接:http:tecdat.cn?p27976原文出处:拓端数据部落公众号作者:GuojiangZhao数据量大,数据要进行清洗以及预处理,同时要多方面可视化,要探索多变量对
全文链接:http://tecdat.cn/?p=27976
原文出处:拓端数据部落公众号
作者:Guojiang Zhao
数据量大,数据要进行清洗以及预处理,同时要多方面可视化,要探索多变量对因变量的影响。
解决方案用R语言读取数据,对数据进行清洗合并以及预处理,数据可视化,特征工程以及变量选择,建模,交叉验证,模型评价。
任务/目标对价格进行预测并且比较
特征转换处理缺失值(对缺失值进行插值以及取均值进行处理,同时去掉一些缺失较少的数据行)
将因子变量变为数值型变量好做best subset selection来进行特征选择等等
可视化
运用nlp以及词云可视化
构造以上说明了如何抽取相关特征,我们大致有如下训练样本(只列举部分特征)。
划分训练集和测试集训练集70%和测试集30%
变量选择:best subset selection
选取5个最佳的变量
建模预测价格
- 多元回归分析
- GAM模型(平滑样条,多项式回归,三次样条)
- 不同变量通过cross-validation来选择哪一种模型是cv.error最小的
如图:
最后得到最终的一个模型
回归决策树剪枝后
预测三个模型中分别对price预测
模型比较:
比较预测值和实际值的RMSE,选取最优模型
三个模型price预测值与实际值
比较:
可以看出,GAM模型是三个模型中最适合的,然后可以依据该模型对price进行预测。
关于作者
在此对Guojiang Zhao对本文所作的贡献表示诚挚感谢,他在卡耐基梅隆大学完成了硕士学位,擅长机器学习,数据挖掘,数理统计,数据分析。
最受欢迎的见解
1.R语言多元Logistic逻辑回归 应用案例
2.面板平滑转移回归(PSTR)分析案例实现
3.matlab中的偏最小二乘回归(PLSR)和主成分回归(PCR)
4.R语言泊松Poisson回归模型分析案例
5.R语言混合效应逻辑回归Logistic模型分析肺癌
6.r语言中对LASSO回归,Ridge岭回归和Elastic Net模型实现
7.R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病
8.python用线性回归预测股票价格
9.R语言用逻辑回归、决策树和随机森林对信贷数据集进行分类预测
▍关注我们
【大数据部落】第三方数据服务提供商,提供全面的统计分析与数据挖掘咨询服务,为客户定制个性化的数据解决方案与行业报告等。
▍咨询链接:http://y0.cn/teradat
▍联系邮箱:3025393450@qq.com