PaddlePaddle实战|KDD Cup Regular ML Track基线实现解析

素有数据挖掘领域“世界杯”之称的KDD Cup正在火热进行中&＃xff0c;百度作为此次大赛的主办方&＃xff0c;除了提供10,000美金特别奖&＃xff0c;还为使用PaddlePaddle的参赛选手精心提供了KDD Cup Regular ML Track基线支持&＃xff0c;此基线能够在Linux和单机CPU/GPU上运行&＃xff0c;通过使用基线&＃xff0c;参赛队伍可以更方便地进行特征工程和网络的优化&＃xff0c;高效完成训练&＃xff0c;并获得更好的结果。

为了让选手更方便地使用此基线&＃xff0c;我们将为大家剖析KDD Cup Regular ML Track基线的技术特点和使用过程。

本文对应代码地址&＃xff1a;

https://github.com/PaddlePaddle/models/tree/develop/PaddleRec/ctr/Paddle_baseline_KDD2019

阅读本文请参考GitHub代码库。

数据预处理

问题定义&＃xff1a;

通过给定的用户query记录&＃xff0c;展示记录&＃xff0c;用户对出行方式点击行为等原始数据预测用户选择的出行方式&＃xff08;transportmode 1 - transport mode 11&＃xff09;。注意有一部分记录(plans)没有返回点击行为&＃xff0c;题目要求没有点击同样需要预测。我们将问题重新定义为二分类问题。对每一个transport mode的点击行为都给出一个0到1的概率值&＃xff08;包括上述未点击行为&＃xff0c;强行定义为transport mode 0&＃xff09;&＃xff0c;进而表示为对给定一种mode的ctr预估问题。

特征预处理&＃xff1a;

特征预处理的作用是将原始数据转换成一条一条可以用作训练模型的实例&＃xff08;instances&＃xff09;。我们采用json格式保存instances&＃xff0c;其中一条instance的json示例&＃xff1a;

{"mode_min_distance": 1,"pid": "","weather": {"min_temp": "10","wea": "q","wind": "12","max_temp": "25"},"plan_rank": 1,"query": {"hour": "09","weekday": "3","d2": 40.0,"o2": 39.92,"o1": 116.43,"d1": 116.57},"eta_rank": 3,"label": 0,"mode_min_eta": 3,"price_rank": 3,"profile": [0],"mode_rank1": 11,"mode_rank2": 3,"mode_rank3": 4,"mode_rank4": 7,"mode_rank5": 1,"mode_max_eta": 1,"plan": {"distance": 0.13730889964270376,"price": 0.00760043431053203,"eta": 0.07021413598936856,"transport_mode": 11},"mode_max_distance": 7,"whole_rank": 5,"mode_max_price": 4,"mode_min_price": -1,"distance_rank": 4
}


注意每一条instance通过json直接解析成Python的dict结构&＃xff08;本文例子中有dict嵌套结构&＃xff09;&＃xff0c;我们可以自定义生成自己的特征和label供模型训练或者预测&＃xff0c;dict中的键为特征名&＃xff0c;值为特征值。

代码&＃xff1a;preprocess_dense.py/preprocess.py 为训练样本生成代码&＃xff0c; pre_test_dense.py/pre_process_test.py 为测试样本生成代码。带有dense后缀的为生成dense特征和sparse特征的处理脚本&＃xff0c;不带后缀的为全sparse特征的处理脚本。具体选用哪种生成策略或者结合两种生成策略可自定义处理&＃xff0c;这里仅提供大致思路&＃xff0c;特征工程方面的拓展工作在此框架下比较方便。本文后续实现模型将以同时生成dense和sparse特征为例&＃xff0c;详情见preprocess_dense.py。

组建模型

本文采用模型参考DeepFM论文&＃xff08;https://arxiv.org/abs/1703.04247&＃xff09;&＃xff0c;参见network_confv6, 其他基于fm&deep的更加花哨的模型组建请参考networks文件夹下其他文件&＃xff0c;读者也可以开脑洞自定义实现&＃xff0c;注意使用其他模型的时候需要对应修改instance喂入模型的格式。

训练模型

定义instance喂入模型格式

本文使用PaddlePaddle Dataset接口。Dataset是一个工厂类&＃xff0c;有如下两种&＃xff1a;

&＃xff08;1&＃xff09;QueueDataset&＃xff1a;每轮训练从指定的文件列表里读取数据。

&＃xff08;2&＃xff09;InMemoryDataset&＃xff1a;用户可以调用LoadIntoMemory把数据读到内存。每轮训练从内存中读取数据。

用户创建Dataset时&＃xff0c;默认是QueueDataset&＃xff08;具体使用查看文档&＃xff09;。参见map_reader.py中实现MapDataset示例&＃xff0c; 在用户实现的dataset类中&＃xff0c;用户可以根据自己的特征实现任意的处理逻辑&＃xff0c;在generate_sample()函数中定义每个instance输入到模型的格式&＃xff0c;注意在示例中&＃xff0c;一共通过feature_name定义了 "dense_feature", "context" &＃43; str(idx), "context_fm","label" 这四类输入格式。在local_train.py中使用dataset的示例&＃xff1a;

dense_feature &＃61; fluid.layers.data(name&＃61;"dense_feature",shape&＃61;[DIM_DENSE_FEATURE], dtype&＃61;&＃39;float32&＃39;)
context_feature &＃61; [fluid.layers.data(name&＃61;"context"&＃43; str(i), shape&＃61;[1], lod_level&＃61;1, dtype&＃61;"int64")for i in range(0,NUM_CONTEXT_FEATURE)]
context_feature_fm &＃61; fluid.layers.data(name&＃61;"context_fm",shape&＃61;[1], dtype&＃61;&＃39;int64&＃39;, lod_level&＃61;1)
label &＃61; fluid.layers.data(name&＃61;&＃39;label&＃39;, shape&＃61;[1],dtype&＃61;&＃39;int64&＃39;)print("ready to network")
loss, auc_var, batch_auc_var, accuracy, predict &＃61;ctr_deepfm_dataset(dense_feature, context_feature, context_feature_fm, label,args.embedding_size,args.sparse_feature_dim)print("ready to optimize")
optimizer &＃61; fluid.optimizer.SGD(learning_rate&＃61;1e-4)
optimizer.minimize(loss)
exe &＃61; fluid.Executor(fluid.CPUPlace())
exe.run(fluid.default_startup_program())
dataset &＃61; fluid.DatasetFactory().create_dataset()
dataset.set_use_var([dense_feature] &＃43; context_feature &＃43;[context_feature_fm] &＃43; [label])
pipe_command &＃61; PYTHON_PATH &＃43; " map_reader.py%d" % args.sparse_feature_dim
dataset.set_pipe_command(pipe_command)
dataset.set_batch_size(args.batch_size)
thread_num &＃61; 1
dataset.set_thread(thread_num)


注意set_pipe_command(pipe_command), pipe command是对原始的数据做处理&＃xff0c;生成PaddlePaddle可以识别的格式。Dataset读取的每一行原始数据&＃xff0c;都会用这里的命令做处理。可以是一个执行python脚本或者二进制等任意Linux命令&＃xff0c;用户可以写自己的逻辑。pipe command生成var的顺序需要和set_user_var保持一致。

接下来就需要在pipe_command中处理数据。

在Pipe Command中处理数据

PaddlePaddle中提供了基类paddle.fluid.incubate.data_generator.MultiSlotDataGenerator&＃xff0c;用户可以继承并实现自己的处理数据的逻辑。生成的数据需要与set_use_var中设置的顺序保持一致。具体代码参考map_reader.py中自定义处理原始数据代码&＃xff0c;用户需实现generate_sample()函数来处理每一行数据&＃xff1a;

def _process_line(self, line):instance &＃61; json.loads(line)"""profile &＃61;instance["profile"]len_profile &＃61; len(profile)if len_profile >&＃61; 10:user_profile_feature&＃61; profile[0:10]else:profile.extend([0]*(10-len_profile))user_profile_feature&＃61; profileif len(profile) > 1 or (len(profile)&＃61;&＃61; 1 and profile[0] !&＃61; 0):for p inprofile:ifp >&＃61; 1 and p <&＃61; 65:user_profile_feature[p- 1] &＃61; 1"""context_feature &＃61; []context_feature_fm &＃61; []dense_feature &＃61; [0] *self.dense_lengthplan &＃61; instance["plan"]for i, val inenumerate(self.dense_feature_list):dense_feature[i]&＃61; plan[val]if (instance["pid"] &＃61;&＃61;""):instance["pid"]&＃61; 0query &＃61;instance["query"]weather_dic &＃61;instance["weather"]for fea in self.pid_list:context_feature.append([hash(fea&＃43; str(instance[fea])) % self.hash_dim])context_feature_fm.append(hash(fea&＃43; str(instance[fea])) % self.hash_dim)for fea inself.query_feature_list:context_feature.append([hash(fea&＃43; str(query[fea])) % self.hash_dim])context_feature_fm.append(hash(fea&＃43; str(query[fea])) % self.hash_dim)for fea inself.plan_feature_list:context_feature.append([hash(fea&＃43; str(plan[fea])) % self.hash_dim])context_feature_fm.append(hash(fea&＃43; str(plan[fea])) % self.hash_dim)for fea inself.rank_feature_list:context_feature.append([hash(fea&＃43; str(instance[fea])) % self.hash_dim])context_feature_fm.append(hash(fea&＃43; str(instance[fea])) % self.hash_dim)for fea inself.rank_whole_pic_list:context_feature.append([hash(fea&＃43; str(instance[fea])) % self.hash_dim])context_feature_fm.append(hash(fea&＃43; str(instance[fea])) % self.hash_dim)for fea in self.weather_feature_list:context_feature.append([hash(fea&＃43; str(weather_dic[fea])) % self.hash_dim])context_feature_fm.append(hash(fea&＃43; str(weather_dic[fea])) % self.hash_dim)label &＃61;[int(instance["label"])]return dense_feature, context_feature,context_feature_fm, labeldef generate_sample(self, line):def data_iter():dense_feature,sparse_feature, sparse_feature_fm, label &＃61; self._process_line(line)#feature_name&＃61; ["user_profile"]feature_name&＃61; []feature_name.append("dense_feature")for idxin self.categorical_range_:feature_name.append("context"&＃43; str(idx))feature_name.append("context_fm")feature_name.append("label")yieldzip(feature_name, [dense_feature] &＃43; sparse_feature &＃43; [sparse_feature_fm] &＃43;[label])return data_iter


至此&＃xff0c;模型定义&＃xff0c;数据格式处理逻辑&＃xff0c;训练流程都已确定&＃xff0c;执行Python local_trian.py就可以开始训练了。

相信你已经掌握了如何使用KDD Cup Regular ML Track 基线&＃xff0c;快去实际操作吧。如果还没有报名参加KDD Cup 2019&＃xff0c;点击前往https://dianshi.baidu.com/competition/29/rule&＃xff0c;报名截止日期为2019年5月23日。

百度大脑AI Studio还为此次参赛选手提供了免费Tesla V100的算力支持。作为当前性能最好的工业级训练卡之一&＃xff0c;参赛者选择一人一卡&＃xff08;单机&＃xff09;项目模式下不必再担心CPU性能不足的问题。前往https://aistudio.baidu.com/aistudio/questionnaire?activityid&＃61;371&＃xff0c;或点击左下角“阅读原文”&＃xff0c;即可在线申请算力邀请码。

参赛过程中如有任何疑问&＃xff0c;欢迎加入KDD Cup 2019官方讨论群。入群方法如下&＃xff1a;

识别下方二维码&＃xff0c;添加PaddlePaddle小助手&＃xff08;申请时请备注“KDD”&＃xff09;&＃xff0c;小助手会在第一时间邀您入群。

更多信息欢迎关注&＃xff1a;

https://github.com/PaddlePaddle/models/tree/develop/PaddleRec/ctr/Paddle_baseline_KDD2019