在Spark中使用xgboost训练模型

spark上运行xgboost模型&＃xff0c;具有内存运行&＃xff0c;速度更快&＃xff0c;减少数据传输的优势。

1、交互模式测试

使用spark运行xgboost首先需要下载依赖的jar包&＃xff0c;下载地址https://github.com/criteo-forks/xgboost-jars/releases&＃xff0c;

主要需要xgboost4j-0.72-criteo-20180518_2.10-linux.jar

在堡垒机中使用命令 spark-shell --jars xgboost*.jar&＃xff0c;进入交互模式&＃xff0c;可以编写代码进行测试。

退出shell环境命令 :quit

2、数据准备

xgboost模型需要将数据整理为libsvm格式。

本地可以使用python脚本将数据转化。

3、编写并运行程序

首先需要引入依赖

import ml.dmlc.xgboost4j.scala.{DMatrix, XGBoost}

4、IDEA

在IDEA中编写scala程序&＃xff0c;需要定义好类名。
修改pom.xml文件&＃xff0c;建立依赖。

me.lyh
xgboost4j
0.71-20180420-230cb9b7

5、maven打包命令&＃xff1a;

mvn clean package -Pcluster

说明&＃xff1a;clean是消除其他文件&＃xff0c;package是打包&＃xff0c;-Pcluster是指将依赖打包

6、生成jar包后执行

执行命令&＃xff1a;spark-submit --class com.jd.iss.xgb.xgb_slass --jars xgboost4j-linux.jar,xgboost4j-spark.jar xgboostDemo.jar

--class是指定义执行的类名

--jars是引入依赖的jar包&＃xff0c;因为线上环境一般没有xgboost的jar包

7、查看任务日志&＃xff1a;

yarn logs --applicationId application_XXXX_XXXX >res.log

8、一些xgboost4j的函数说明

8、一些xgboost4j的函数说明

//模型训练&＃xff1a;
booster &＃61; XGBoost.train(trainMax, paramMap, numRound, watches.toMap)
//获取特征重要性
val FeatureWeight&＃61;booster.getFeatureScore()

//决策树结果
val model_dump &＃61; booster.getModelDump()
//预测
val PredictResult &＃61; booster.predict(testMax).flatMap(x&＃61;>x)
注意&＃xff1a;预测函数后要接 flatMap(x&＃61;>x)